多卡验证时，卡数不同验证的map不同

[ffxxy]

我用4卡训练，去最好的pth进行验证，4卡时是20.5，单卡时是16.2，8卡时是16.4，为什么会出现这种问题，没有改过验证代码。
验证命令：CUDA_VISIBLE_DEVICES=0,1,2,3 torchrun --master_port=7777 --nproc_per_node=4 train.py --test-only，此时是20.5，

单卡时的验证结果：

我非常震惊和疑惑，我应该相信哪个？？？

[ffxxy]

我在多个权重文件以及数据集上测试过，都存在这种情况，有人可以解答一下吗，我真的非常疑惑，best的权重到底是不是best，是否应该相信验证得到的map

[ffxxy]

需要解释一下，我是4卡训练，单独验证时，分别比较了4卡验证和单卡验证，同一个权重，同样的验证数据，结果不一样

[ShihuaHuang95]

非常感谢你对我们工作的关注和感兴趣。
请问该问题是否继续存在。首先我们在多台服务器上做了验证的，保存的checkpoint不应该随着服务器更改而发生大的变化。然后，我们其实也关注到了training present的结果和单独eval是有一点点小数点后几位区别的，但是区别肯定不大。
如果这个问题持续影响你，能否在本地先加载官方开源的模型权重，使用你提到的方法复现一下该问题——之后po给我，我进一步帮你解决。