-
Notifications
You must be signed in to change notification settings - Fork 251
Open
Description
我在使用飞桨的框架实现模型训练和推理过程中发生了一些问题,有人了解的吗?麻烦帮忙分析解决,谢谢!
问题:同一批图片进行推理多次推理时,偶尔出现结果不一样的情况,关闭TRT加速后暂未发现,但关闭后无法实现推理加速。
服务端启动命令:python3 -m paddle_serving_server.serve --model serving_server --runtime_thread_num 6 --batch_infer_size 32 --port 9595 --gpu_ids 0 --gpu_multi_stream --use_trt
环境:服务端在Ubuntu系统,运行Serving模式进行推理。客户端在windows端(采用GRPC协议,异步通信方式)。
Metadata
Metadata
Assignees
Labels
No labels