grpo训练中completions问题

[wangat]

功能请求是否与某个问题相关？请描述。

您好，感谢您的工程；
在使用ms-swift框架下使用qwen2.5-vl系列模型做grounding任务训练grpo的时候，因为设置了(gt格式类似[endpoint[,];point[,]]，训练中ms-swift会使用<|box_start|>(427,0)<|box_end|>替换)，但是在completionsz中没有图片信息/任务id/或者是原来的objects信息，导致无法评估生成效果到底怎么样，想问一下您有没有输出的方法（尝试在训练中打印批次内图片名字并记录，但是发现和completionsz中顺序不一致，一个batch比较大，不好确认）。
使用的swanlab 版本为0.6.10。

描述您希望的解决方案

能否指定其它信息输出。比如objects、或者自己定义的其它字段。

描述您考虑过的替代方案

No response

[SAKURA-CAT]

没太理解具体的意思，无法显示图片吗？

[wangat]

没太理解具体的意思，无法显示图片吗？

抱歉忘记看回复了，不好意思。（抱歉输入的特殊替代会被github吞掉，只有编辑才能看到，就截图了）

在ms-swift训练qwen系列的grounding任务，completions中数据格式一般是下图；

图片部分+问题…… 生成的回复，以及对应的点/anchor……

对应在对话下面有images、objects中分别存储了和上述中（抱歉被吞掉了）对应数量的图片路径和对应的point/anchor，在训练中会用保留的特殊字符替换处理，比如我的数据的bbox可能就是转换成<|box_start|>253，125<|box_end|>（点的情况，没有用anchor）。但是如果只保留completions的话就看不到这两个信息，不太清楚具体是哪一个数据。

在swanlab的grpo训练展示例子：
completion部分：road1[endpoint[<|box_start|>(0,94)<|box_end|>,<|box_start|>(145,0)<|box_end|>];point[]];……
solution 部分：

……

因为定义的比较多，不太好确认到底是哪一个数据的结果。还想问一下您，目前发现0-9的编码，会导致输出token比较多，正在训练一个0-1000的special-token的版本，这样可以兼容吗？处理之后可能125，之前是1、2、5共3个token，未来可能就是<125>这样。

[ShaohonChen]

@wangat 这个我看看，您代码是参考了我们SwanLab的教程嘛？是这个嘛？

https://docs.swanlab.cn/examples/qwen_vl_coco.html