关于Dataloader的warning问题

[LianYi233]

您好！每次fine-tune到10%左右时开始出现如下的warning：
.../anaconda3/envs/vlaa/lib/python3.10/site-packages/torch/utils/data/dataloader.py:643: UserWarning: Length of IterableDataset <prismatic.vla.datasets.datasets.RLDSDataset object at 0x7f58944588b0> was reported to be xxx (when accessing len(dataloader)), but xxx samples have been fetched.
这是哪里的错误导致的呢？应该怎样修改？多谢作者🙏

[WangYH-BUPT]

您好！每次fine-tune到10%左右时开始出现如下的warning： .../anaconda3/envs/vlaa/lib/python3.10/site-packages/torch/utils/data/dataloader.py:643: UserWarning: Length of IterableDataset <prismatic.vla.datasets.datasets.RLDSDataset object at 0x7f58944588b0> was reported to be xxx (when accessing len(dataloader)), but xxx samples have been fetched. 这是哪里的错误导致的呢？应该怎样修改？多谢作者🙏

这个可能是缓存的问题。我们在H100上训练也会出现，不过是在11w步之后出现的，并且我们存储的chkpt都是在10w步之前，因此没有修改它。另外，交流群中的同学似乎也遇到了，他们存储的chkpt是在出现之后，并且性能和论文的结果一致。目前来讲，这个warning没问题，不过似乎有同学反应说之后速度会变慢。您可以尝试把grad拉大，然后通过减少step数量。例如：spatial-pro是2w步（总batch是64），您可以把总batch（bs卡数grad）拉到64，然后只需要2w步就能得到比较好的结果了。这样可能可以避免这一问题的出现。