[Question]: 提交测试失败

[dongzhue]

Question

您好，我在尝试提交测试docker的时候，发现失败了。除了第一个Submitted file以外，其他file都是空的，没有报错信息，无法排查docker出了什么问题，我在本地测试官方提供的命令是能正常测试的，想问问该如何排查问题呢？

 docker run --name internnav-test -it --gpus all --network host \
  -e "ACCEPT_EULA=Y" \
  -e "PRIVACY_CONSENT=Y" \
  -e "DISPLAY=${DISPLAY}" \
  --entrypoint /bin/bash \
  -w /root/InternNav \
  -v /tmp/.X11-unix/:/tmp/.X11-unix \
  -v ${PWD}/data:/root/InternNav/data \
  -v ${PWD}/interiornav_data:/root/InternNav/interiornav_data \
  xxx.aliyuncs.com/vlnpe/xxxvln-pe_test:v1 \
  -c "challenge/start_eval_iros.sh --config scripts/eval/configs/challenge_cfg.py --split val_seen; exec /bin/bash"

[MarSaKi]

same question, val_seen works well but val_unseen and test_unseen all failed with empty stderr and stdout

[MarSaKi]

请问eval.ai后端运行的是这个命令吗？
bash challenge/start_eval_iros.sh --config scripts/eval/configs/challenge_cfg.py --split [val_seen/val_unseen]
它使用的config是docker内打包的config还是你们挂载的config，可以理解为后端只挂载data和interiornav_data吗，其他用的都是docker内打包的？
然后把保存的kujiale_result.json和mp3d_result.json结果推送到leaderboard。这种情况下.json的结果里写一个好的数字是不是也能hack比赛结果

[kew6688]

@dongzhue 您好，我们定位到了您的提交，现在internvla还不支持并行评测，由于我们后端是多卡评测，导致失败了，我们这边会修改一下，帮您重新提交，感谢理解！欢迎加入我们的飞书答疑群，我们可以快速帮您查看失败的原因！
https://applink.feishu.cn/client/chat/chatter/add_by_link?link_token=787vdf4f-98b0-4723-83fb-cecd2c01a7d0

[dongzhue]

@dongzhue 您好，我们定位到了您的提交，现在internvla还不支持并行评测，由于我们后端是多卡评测，导致失败了，我们这边会修改一下，帮您重新提交，感谢理解！欢迎加入我们的飞书答疑群，我们可以快速帮您查看失败的原因！ https://applink.feishu.cn/client/chat/chatter/add_by_link?link_token=787vdf4f-98b0-4723-83fb-cecd2c01a7d0

好的十分感谢，我再提交一下

[kew6688]

@MarSaKi 感谢您的提问！可以提供一下您提交的详细信息方便我们定位您的dsw吗？您说的这种情况很有道理，我们关于安全有做过准备，会对提交的代码进行检查，更多的安全考量可能不便在这里讨论。目前会使用我们挂载的config，会覆盖镜像内的内容。欢迎加入我们的飞书答疑群，可以更好的给您提供支持！
https://applink.feishu.cn/client/chat/chatter/add_by_link?link_token=787vdf4f-98b0-4723-83fb-cecd2c01a7d0

[kew6688]

@dongzhue 欢迎您尝试将internVLA接入batch inference，会使用env_num=2, proc_num=4。目前我们的评测后端还在对单卡评测进行更新~

[dongzhue]

@dongzhue 欢迎您尝试将internVLA接入batch inference，会使用env_num=2, proc_num=4。目前我们的评测后端还在对单卡评测进行更新~

哦哦好的，我改一下设置

[MarSaKi]

@MarSaKi 感谢您的提问！可以提供一下您提交的详细信息方便我们定位您的dsw吗？您说的这种情况很有道理，我们关于安全有做过准备，会对提交的代码进行检查，更多的安全考量可能不便在这里讨论。目前会使用我们挂载的config，会覆盖镜像内的内容。欢迎加入我们的飞书答疑群，可以更好的给您提供支持！ https://applink.feishu.cn/client/chat/chatter/add_by_link?link_token=787vdf4f-98b0-4723-83fb-cecd2c01a7d0

你好，我的提交id是submission_540861，如果是使用挂载的config那可能会有些问题，方便问问镜像你们都挂载了哪些文件夹吗，除了data interior_data config？
因为我发现challenge cfg里的server_port是写死的，如果一台机器上同时有多个提交使用相同的server_port可能会有问题。所以我把eval_iros.py改了，并在config文件里使用随机端口，向下面这样：

[kew6688]

@MarSaKi 我们会挂载dataset，会覆盖challenge_mp3d_cfg.py和challenge_kujiale_cfg.py，以及challenge/health_check.sh。如果您直接改eval_iros.py的话是可以的，但是请保证health_check.sh 和 start_eval_iros.sh 是可以运行的，并且会运行两个数据集。每次评测会启动单独的机器，所以不会出现port被占用的情况，所以这里可以使用默认的端口~

[MarSaKi]

@MarSaKi 我们会挂载dataset，会覆盖challenge_mp3d_cfg.py和challenge_kujiale_cfg.py，以及challenge/health_check.sh。如果您直接改eval_iros.py的话是可以的，但是请保证health_check.sh 和 start_eval_iros.sh 是可以运行的，并且会运行两个数据集。每次评测会启动单独的机器，所以不会出现port被占用的情况，所以这里可以使用默认的端口~

好的，谢谢明白了。那按照这个设定，如果换模型，入口只能修改scripts/eval/configs/challenge_cfg.py和scripts/eval/eval_iros.py吧，这两个文件没有挂载覆盖吧？谢谢 D

[kew6688]

@MarSaKi 是的，在challenge_cfg里面写好agent的部分就可以，如果有其他需要的情况可以和我们说一声

[kew6688]

@dongzhue 您好，我们评测后端更新了，可以提交env=1,sim=1的不并行情况的镜像了