paddle 有时候训练会卡住，请问原因是什么？

[fengyanWang]

请提出你的问题 Please ask your question

在一台机器上有多个paddle训练任务，训练一段时间后会出现训练卡顿，只有某个任务能够正常训练，其余的几乎1-2张每秒，机器上任务情况如下：
1.多个单卡训练任务（读取同份本地数据）
2.多个单机多卡训练任务（读取本地数据），部分单机多卡任务可能开启了共享内存

使用命令查看，CPU占比正常，io读取正常

猜测原因：
1.单机多卡训练优先级高，抢占单机单卡任务资源？
2.因为任务开启了共享内存，导致其他任务资源被占用，卡顿？
3.多个单机任务读取同一份数据，导致资源竞争，卡顿？
........

在此，想问下原因是什么？望回复！谢谢！

[paddle-bot-old]

您好，我们已经收到了您的问题，会安排技术人员尽快解答您的问题，请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时，您也可以通过查看官网API文档、常见问题、历史Issue、AI社区来寻求解答。祝您生活愉快～

Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the API，FAQ，Github Issue and AI community to get the answer.Have a nice day!

[veyron95]

@fengyanWang 麻烦提供一下可复现该问题的代码、环境&版本等

[fengyanWang]

@fengyanWang 麻烦提供一下可复现该问题的代码、环境&版本等
1.代码：用的是paddleDetection和paddleOCR，配置文件和官方开源的几乎一模一样
2.系统环境：Ubuntu 18.04.5 LTS CUDA Version 10.1.243 NVIDIA UNIX x86_64 Kernel Module 460.80
3.硬件：8张 英伟达2080 显存11G
4.paddle版本信息：paddlepaddle-gpu 2.2.0.post101