快速入门 TensorFlow2 模型部署

机器学习问题不仅是一个科学问题，更是一个工程问题。

大多数年轻的数据科学家都希望将大部分时间花在构建完美的机器学习模型上，但是企业不仅需要训练一个完美的模型，同时也需要将其部署，向用户提供便捷的服务。

如下图所示，机器学习系统由机器学习代只包含一小部分，而在中间的小黑匣子周围，所需要的基础设施庞大而复杂。

快速入门 TensorFlow2 模型部署

因此，在实际应用中，一个优秀的程序员不仅要学会构建完美的机器学习模型上，同时还需要将其部署向用户提供便捷的服务。

在本教程中，笔者将重点放到了机器学习模型部署上面，并使用最为热门的 TensorFlow 2 框架完成实践。

此教程内容节选自实验楼近期好课《TensorFlow 2 模型部署方法实践》，教程采用的实验环境均为实验楼提供的在线web环境。

快速入门 TensorFlow2 模型部署

强烈建议想跟着教程学习的小伙伴可以登陆实验楼官网，直接上手敲代码会更好。

首先，我们聊聊预训练模型使用方法。

1.介绍

本节实验将介绍 MobileNet 系列中的 MobileNetV2 模型，MobileNet 是为移动端和嵌入式端深度学习应用所设计的网络，使得在 CPU 上训练也能达到理想的速度要求。

后续的实验中，我们将使用此模型进行部署演示。

2.知识点

Keras 导入预训练模型
预训练模型的使用方法
保存模型为 HDF5 格式
保存模型为 SavedModel 格式

3.环境配置

目前，TensorFlow 2 已正式发布，你需要通过 pip install -U tensorflow 进行升级安装。线上环境中，我们需要先卸载老版本，然后再安装 TensorFlow 2。

# 解决线上环境的一些依赖问题，本地无需这些操作
!pip install --upgrade pip msgpack setuptools h5py
!pip uninstall tensorflow -y

!pip install -U --ignore-installed wrapt # 安装 TensorFlow 2.0

4.选择图片

在本实验中，我们使用 skimage 库中的自带图片进行图像识别。skimage 中自带一张猫的图片，稍后我们用这张图片进行识别任务。

from skimage import data
import matplotlib.pyplot as plt
%matplotlib inline

# skimage 中自带一张猫的图片
image = data.chelsea()
plt.imshow(image)

（注：如果你对课程所使用的实验楼 Notebook 在线环境不熟悉，可以先学习课程《实验楼 Notebook 在线环境使用指南》。）

5.导入预训练模型

接下来从 Keras-applications 中导入预训练模型 MobileNetV2。由于原模型托管在海外服务器，在实验楼环境中，需要将预训练模型从实验楼镜像服务器下载到 ~/.keras/models 目录下，方便后续载入模型。

# 下载预训练模型到线上环境指定目录
!wget -nc "https://labfile.oss.aliyuncs.com/courses/1435/mobilenet_v2_weights_tf_dim_ordering_tf_kernels_1.0_224.h5" -P "/root/.keras/models"
!wget -nc "https://labfile.oss.aliyuncs.com/courses/1435/imagenet_class_index.json" -P "/root/.keras/models"

通过指定权重 weights='imagenet' 来载入 ImageNet 预训练模型。

from tensorflow.keras.applications.mobilenet_v2 import MobileNetV2

# 载入 ImageNet 预训练模型
model = MobileNetV2(weights='imagenet')
model.summary()

6.数据处理

接下来，我们尝试对上面的示例图片进行识别，首先需要将图片处理成预训练模型可以输入的形状。我们将图像放缩到 224*224 的大小，并在图像矩阵前面增加一维，即将 (224,224,3) 的图像矩阵变成 (1,224,224,3)。

然后，可以调用 preprocess_input 方法将向量处理成 MobileNetV2 最终支持的输入类型。

!pip install opencv-python==4.1.2.30  # 安装所需 OpenCV

from tensorflow.keras.applications.mobilenet_v2 import preprocess_input
import numpy as np
import cv2

# 将图像放缩到 224*224 的大小
image = cv2.resize(image, (224, 224))
# 将图像矩阵前面增加一维，即将 (224,224,3) 的图像矩阵变成 (1,224,224,3)
x = np.expand_dims(image, 0)
# 预处理图像，在 Keras 中，在传入图片数组值 (0-255) 的基础之上，
# 进行先除以 127.5，然后减 1，最后将值的范围为放缩到 (-1,1) 上
x = preprocess_input(x)
x.shape

7.模型预测

接下来，使用 model 中的 predict 对输入数据进行预测，模型输出为一个 (1,1000) 的向量，向量中每个元素表示对应标签的预测值。

output = model.predict(x)
output.shape

这里使用 decode_predictions 对模型输出的向量进行解码，解码的结果就是预测的结果，这里 top=5 表示输出前五个最有可能的类别。

from tensorflow.keras.applications.mobilenet_v2 import decode_predictions
preds = decode_predictions(output, top=5)
preds

通过输出结果可以看到，模型预测图片最可能的类别是 Egyptian cat。

8.保存模型

我们可以在训练期间和训练完成后，对模型进行保存，而模型部署就是使用保存后的模型进行实际应用。在训练过程中， TensorFlow 2 提供了两种方式来保存模型。

1）HDF5 文件

在实验的一开始，我们下载下来的预训练模型mobilenet_v2_weights_tf_dim_ordering_tf_kernels_1.0_224.h5 是 HDF5 格式的文件，可以将保存的模型视为单个二进制 blob，里面同时保存了模型权重、模型结构和优化器配置。

2）SavedModel

在 TensorFlow 2 中，还提供了 SavedModel 方式来保存模型，SavedModel 的优点是与语言无关，如可以在 Python 中训练模型，然后在 Java 中加载。另外使用 TensorFlow Serving 来部署模型时必须使用 SavedModel 格式，SavedModel 转换方法具体实现如下。

import tensorflow as tf
import time

saved_model_path = './saved_models/{}'.format(int(time.time()))
# 创建一个 SavedModel，并将其放在带有 tf.keras.experimental.export_saved_model 的带时间戳的目录中
tf.keras.models.save_model(model, saved_model_path)

在 saved_model_path 目录下，

.
├── assets  
├── saved_model.pb  
└── variables   
    ├── variables.data-00000-of-00001  
    └── variables.index

saved_model.pb 为数据流图文件，它包含图形结构， variables 文件夹中保存的是 ckpt 文件集合，variables.data-xxx 保存了参数的值，variables.index 保存了对应的各个参数。

9.实验总结

在本节实验中，我们学习了 Keras-applications 预训练模型的使用方法，并将预训练模型从 h5 格式转换为 SavedModel 格式。在之后的实验，我们都将使用本实验中的模型、处理方法以及生成结果。下一节实验中，我们将使用 TensorFlow Serving 读取 SavedModel 进行部署。

《TensorFlow 2 模型部署方法实践》的第一节实验就结束了。想访问后续教程的朋友，可以点击《TensorFlow 2 模型部署方法实践》，之后的实验还有：

快速入门 TensorFlow2 模型部署