Skip to content

Commit

Permalink
[TIPC] fix serving and onnx doc (#5518)
Browse files Browse the repository at this point in the history
* fix serving doc

* fix serving doc

* fix typo
  • Loading branch information
tink2123 authored May 18, 2022
1 parent c9bb03d commit 6620a06
Show file tree
Hide file tree
Showing 4 changed files with 30 additions and 25 deletions.
4 changes: 2 additions & 2 deletions tutorials/tipc/paddle2onnx/paddle2onnx.md
Original file line number Diff line number Diff line change
Expand Up @@ -46,13 +46,13 @@ Paddle2ONNX 支持将 PaddlePaddle 模型格式转化到 ONNX 模型格式,算

- 安装 Paddle2ONNX
```
python3 -m pip install paddle2onnx
python -m pip install paddle2onnx
```

- 安装 ONNXRuntime
```
# 建议安装 1.9.0 版本,可根据环境更换版本号
python3 -m pip install onnxruntime==1.9.0
python -m pip install onnxruntime==1.9.0
```

<a name="2.2"></a>
Expand Down
15 changes: 8 additions & 7 deletions tutorials/tipc/paddle2onnx/test_paddle2onnx.md
Original file line number Diff line number Diff line change
Expand Up @@ -7,12 +7,12 @@
- [2.1 命令解析](#2.1)
- [2.2 配置文件和运行命令映射解析](#2.2)
- [3. 基本训练推理功能测试开发](#3)
- [2.1 准备待测试的命令](#3.1)
- [2.2 准备数据与环境](#3.2)
- [2.3 准备开发所需脚本](#3.3)
- [2.4 填写配置文件](#3.4)
- [2.5 验证配置正确性](#3.5)
- [2.6 撰写说明文档](#3.6)
- [3.1 准备待测试的命令](#3.1)
- [3.2 准备数据与环境](#3.2)
- [3.3 准备开发所需脚本](#3.3)
- [3.4 填写配置文件](#3.4)
- [3.5 验证配置正确性](#3.5)
- [3.6 撰写说明文档](#3.6)
- [4. FAQ](#4)

<a name="1"></a>
Expand Down Expand Up @@ -229,7 +229,8 @@ Run failed with command - paddle2onnx --model_dir=./inference/mobilenet_v3_small
以mobilenet_v3_small的`Linux GPU/CPU 离线量化训练推理功能测试` 为例,命令如下所示。

```bash
bash test_tipc/test_paddle2onnx.sh ./test_tipc/configs/mobilenet_v3_small/paddle2onnx_infer_python.txt paddle2onnx
bash test_tipc/prepare.sh ${your_params_file} paddle2onnx
bash test_tipc/test_paddle2onnx.sh ${your_params_file} paddle2onnx
```

输出结果如下,表示命令运行成功。
Expand Down
18 changes: 11 additions & 7 deletions tutorials/tipc/serving_python/serving_python.md
Original file line number Diff line number Diff line change
Expand Up @@ -41,7 +41,11 @@ Paddle Serving服务化部署主要包括以下步骤:

<a name="2.1"></a>
### 2.1 准备测试数据
准备测试数据及对应的数据标签,用于后续[推理预测阶段](#2.7)

为方便快速验证推理预测过程,需要准备一个小数据集(训练集和验证集各8~16张图像即可,压缩后数据大小建议在`20M`以内,确保基础训练推理总时间不超过十分钟),放在`lite_data`文件夹下。

相关文档可以参考[论文复现赛指南3.2章节](../../../docs/lwfx/ArticleReproduction_CV.md),代码可以参考`基于ImageNet准备小数据集的脚本`:[prepare.py](https://github.com/littletomatodonkey/AlexNet-Prod/blob/tipc/pipeline/Step2/prepare.py)。


本教程以`./images/demo.jpg`作为测试用例。

Expand Down Expand Up @@ -95,9 +99,9 @@ cd models/tutorials/tipc/serving_python

<a name="2.3"></a>
### 2.3 准备服务化部署模型
#### 2.3.1 下载MobilenetV3 inference模型
#### 2.3.1 准备MobilenetV3 inference模型

参考[MobilenetV3](../../mobilenetv3_prod/Step6/README.md#2),下载inference模型
参考[MobilenetV3](../../mobilenetv3_prod/Step6/README.md#2),确保 inference 模型在当前目录下。

#### 2.3.2 准备服务化部署模型

Expand All @@ -106,7 +110,7 @@ cd models/tutorials/tipc/serving_python
为了便于模型服务化部署,需要将静态图模型(模型结构文件:\*.pdmodel和模型参数文件:\*.pdiparams)使用paddle_serving_client.convert按如下命令转换为服务化部署模型:

```bash
python3 -m paddle_serving_client.convert --dirname {静态图模型路径} --model_filename {模型结构文件} --params_filename {模型参数文件} --serving_server {转换后的服务器端模型和配置文件存储路径} --serving_client {转换后的客户端模型和配置文件存储路径}
python -m paddle_serving_client.convert --dirname {静态图模型路径} --model_filename {模型结构文件} --params_filename {模型参数文件} --serving_server {转换后的服务器端模型和配置文件存储路径} --serving_client {转换后的客户端模型和配置文件存储路径}
```
上面命令中 "转换后的服务器端模型和配置文件" 将用于后续服务化部署。其中`paddle_serving_client.convert`命令是`paddle_serving_client` whl包内置的转换函数,无需修改。

Expand All @@ -115,7 +119,7 @@ python3 -m paddle_serving_client.convert --dirname {静态图模型路径} --mod
针对MobileNetV3网络,将inference模型转换为服务化部署模型的示例命令如下,转换完后在本地生成**serving_server****serving_client**两个文件夹。本教程后续主要使用serving_server文件夹中的模型。

```bash
python3 -m paddle_serving_client.convert \
python -m paddle_serving_client.convert \
--dirname ./mobilenet_v3_small_infer/ \
--model_filename inference.pdmodel \
--params_filename inference.pdiparams \
Expand Down Expand Up @@ -312,7 +316,7 @@ img_path = "./images/demo.jpg"
当完成服务化部署引擎初始化、数据预处理和预测结果后处理开发,则可以按如下命令启动模型预测服务:

```bash
python3 web_service.py &
python web_service.py &
```
**【实战】**

Expand All @@ -332,7 +336,7 @@ python3 web_service.py &
客户端访问服务的命令如下:

```bash
python3 pipeline_http_client.py
python pipeline_http_client.py
```
访问成功的界面如下图:

Expand Down
18 changes: 9 additions & 9 deletions tutorials/tipc/serving_python/test_serving_python.md
Original file line number Diff line number Diff line change
Expand Up @@ -7,12 +7,12 @@
- [2.1 命令解析](#2.1)
- [2.2 配置文件和运行命令映射解析](#2.2)
- [3. 基本训练推理功能测试开发](#3)
- [2.1 准备待测试的命令](#3.1)
- [2.2 准备数据与环境](#3.2)
- [2.3 准备开发所需脚本](#3.3)
- [2.4 填写配置文件](#3.4)
- [2.5 验证配置正确性](#3.5)
- [2.6 撰写说明文档](#3.6)
- [3.1 准备待测试的命令](#3.1)
- [3.2 准备数据与环境](#3.2)
- [3.3 准备开发所需脚本](#3.3)
- [3.4 填写配置文件](#3.4)
- [3.5 验证配置正确性](#3.5)
- [3.6 撰写说明文档](#3.6)
- [4. FAQ](#4)

<a name="1"></a>
Expand Down Expand Up @@ -167,7 +167,7 @@ python3.7 pipeline_http_client.py --image_dir=../../lite_data/test/

相关文档可以参考[论文复现赛指南3.2章节](../../../docs/lwfx/ArticleReproduction_CV.md),代码可以参考`基于ImageNet准备小数据集的脚本`[prepare.py](https://github.com/littletomatodonkey/AlexNet-Prod/blob/tipc/pipeline/Step2/prepare.py)

2. 环境:安装好PaddlePaddle即可进行离线量化训练推理测试开发
2. 环境:安装好PaddlePaddle即可进行python服务化部署测试开发

**【注意事项】**

Expand Down Expand Up @@ -226,7 +226,7 @@ Run failed with command - python3.7 pipeline_http_client.py > ../../log/mobilene

**【实战】**

以mobilenet_v3_small的`Linux GPU/CPU 离线量化训练推理功能测试` 为例,命令如下所示。
以mobilenet_v3_small的`Linux GPU/CPU python服务化部署功能测试` 为例,命令如下所示。

```bash
bash test_tipc/test_serving_infer_python.sh test_tipc/configs/mobilenet_v3_small/serving_infer_python.txt serving_infer
Expand All @@ -251,7 +251,7 @@ Run successfully with command - python3.7 pipeline_http_client.py > ../../log/mo
撰写TIPC功能总览和测试流程说明文档,分别为

1. TIPC功能总览文档:test_tipc/README.md
2. Linux GPU/CPU 离线量化训练推理功能测试说明文档:test_tipc/docs/test_serving_infer_python.md
2. Linux GPU/CPU python服务化部署功能测试说明文档:test_tipc/docs/test_serving_infer_python.md

2个文档模板分别位于下述位置,可以直接拷贝到自己的repo中,根据自己的模型进行修改。

Expand Down

0 comments on commit 6620a06

Please sign in to comment.