bug描述
我们将ESP网络转换成TNN模型部署在华为手机上和骁龙处理器手机上。在骁龙处理器手机上,GPU/opencl 是cpu模型推理速度的2倍,而在华为麒麟980手机上,GPU/opencl 比cpu模型推理速度还要慢(从13fps下降到10fps)。
如何复现
复现步骤:
- config.py 中配置ESP网络,打开转换TNN模型的开关;
- 运行test.py输出TNN模型;
- 集成到安卓项目中,然后安装到华为麒麟980手机上;
- 测试摄像头输入时的fps速度。
预期结果
华为麒麟980手机上,GPU/opencl 应该大于等于cpu的推理速度。
截图
如果有必要的话,请添加截图。
如果使用的是MLab HomePod,请填写
- 宿主机 cpu/ram/cuda设备: intel i9-9820X/32GB/RTX2080ti
- 宿主机操作系统/内核版本/GPU驱动:ubuntu 20.04/5.4.0-74-generic/460.80
- MLab HomePod版本 : 2.0-pro