我注意到您在这个地方用了broadcast来同步group rank的数据。但我有一些疑问：
- 这里直接用src=0，如何保证group 1的rank 0不会错误地broadcast到其它group的ranks？
- 如何避免tool call花费时间太长，导致broadcast超时？
- 为什么不在ray_trainer实现tool call的逻辑，这样就不需要对vllm的model parallel做同步了
|
broadcast_data = vllm_ps._TP.broadcast_object(broadcast_data, src=0) |
我注意到您在这个地方用了broadcast来同步group rank的数据。但我有一些疑问：
ReCall/src/verl/workers/rollout/vllm_rollout/vllm_rollout_spmd.py
Line 547 in 3d976d2