详解TensorFlow报”ValueError: Could not find matching function to call loaded from the SavedModel “的原因以及解决办法

问题原因

这个错误通常出现在使用TensorFlow SavedModel进行推断的过程中，原因可能是在加载SavedModel后使用的函数参数类型不匹配或函数名称不正确，或者是TensorFlow的版本与SavedModel中的版本不兼容。这种情况下，TensorFlow无法找到一个匹配的函数来调用。

解决方案

• 确保使用的TensorFlow版本与SavedModel中的版本相同或兼容。如果不兼容，请尝试升级TensorFlow版本。

• 检查SavedModel中的函数名称和参数类型是否正确，并使用正确的名称和参数类型进行调用。

• 使用TensorFlow的trace API来查看SavedModel中的函数和参数类型。

在Python中，您可以使用以下代码：

import tensorflow as tf
from tensorflow.python.saved_model import tag_constants

# Load the SavedModel
loaded_model = tf.saved_model.load("ModelPath", tags=[tag_constants.SERVING])

# Get the concrete function
concrete_func = loaded_model.signatures['serving_default']

# Trace the inputs and outputs
concrete_func = concrete_func.prune(tf.TensorSpec(shape=[None], dtype=tf.string))
concrete_func.inputs[0].set_shape([None])
outputs = concrete_func.get_concrete_function()(inputs=tf.constant(['']))

# Print the outputs
print(outputs)

此代码将在控制台上显示函数的输入和输出类型，以及SavedModel中的名称。

• 使用TensorFlow Serving进行推断。TensorFlow Serving是一种用于将TensorFlow模型部署到生产环境中的高效方式。它提供了一个可扩展的RPC接口，使得任何语言或工具都可以方便地访问模型。

• 在转换SavedModel之前，使用TensorFlow的签名函数将函数签名定义为可以调用的函数。此函数专门构造可用于推理和训练的TensorFlow计算图，并标记输入和输出。签名功能可以确保SavedModel中的所有函数都具有正确的输入和输出。

以下是一个例子：

import tensorflow as tf

# define the signature function
@tf.function(input_signature=[tf.TensorSpec(shape=[None, None], dtype=tf.float32)])
def my_model(inputs):
    outputs = ... # define your model here
    return {"outputs": outputs}

# convert the function to a SavedModel
tf.saved_model.save(my_model, export_dir="my_model")

这将创建一个称为my_model的SavedModel，其中包含一个用于输入和输出类型的签名功能，以便在加载后使用。

总结

在使用TensorFlow SavedModel进行推断时，可能会遇到"ValueError: Could not find matching function to call loaded from the SavedModel"的错误。

这个错误通常是由于使用的TensorFlow版本与SavedModel中的版本不兼容或函数名称和参数类型不正确导致的。为了解决这个问题，您可以确保TensorFlow版本与SavedModel中的版本相同或兼容，检查函数名称和参数类型是否正确，并使用TensorFlow的签名函数进行模型转换。