关于训练数据和模型收敛的问题 #10
Description
作者您好~
感谢您的工作和开源~我在复现您的工作的时候遇到一些问题：
我从objaverse和xl数据中筛选了10w左右的数据进行训练，训练中会发现，在训练比较早期（大概6轮）时，mr上就会开始出现伪影（一些规律性的格子），训练更多的轮次也不会减轻这个问题，甚至还会加剧这个问题，mr上的花纹对比度会越来越高。（附图里第三四行是生成的结果，可以看到mr的预测结果会更杂乱）
另外，我观察生成的mr的结果，在训练较早期，生成的金属度会更倾向于在0或1两个极端值附近（这是符合目标分布的,对应的mr图会是偏红或偏绿的），但是此时albedo还没有收敛；随着训练继续，金属度会逐渐往0.5左右的值偏移（对应的mr图会偏黄偏棕），逐渐远离目标分布。我检查过我的训练集的数据，它的mr分布确实是更集中在金属度为0或1的位置，但是训练并不能学到这个数据分布。
对于我遇到的这两个问题，想请教您是否有遇到类似的问题或者经验建议呢?我不确定是我的训练数据筛选有问题或者是训练设置不合理，导致我遇到这些问题？
感谢您的时间，期待您的回复~
