请问读取数据集内存占用过高的问题

[ykallan]

进行文本多标签分类，数据有90多万，txt文件有不到200m，但是读取数据集占用的内存太多了，不知道是不是bug还是本来就这样，机子32g的内存都不够读取四分之一的数据，

[yongzhuo]

文本长度多少？这个是一次加载全量数据的，如果不能，得改成yield的形式

[ykallan]

文本长度多少？这个是一次加载全量数据的，如果不能，得改成yield的形式

文本长度大概是64左右，我设置了max_len = 64

晚点我试一下yield

[yongzhuo]

text=64应该不至于，是label数太多的原因？该项目源码数据预处理是默认转成onehot的，可以把label转成onehot的操作置于data_collator，或者是用Sparse损失函数