使用lora 训练后无效果的问题

[cywjava]

我这里准备了1500条alpaca数据，问：你是谁 ，回答：我是XXXXXX
另外有一个新知识 也是1500条数据，
使用lora训练后，新知识 训练几百步后就有效果了，但是想要替换原来6B他里面的内容，已经训练 上万步了，还是替换不到，这是怎么个情况呢。

[xiaoweiweixiao]

你这新知识进行多轮对话的时候还能记住吗？

[suc16]

如果训练集里的prompt够长够独特，应该能替换的。如果是通用领域，感觉万步是远远不够的。

[cywjava]

如果训练集里的prompt够长够独特，应该能替换的。如果是通用领域，感觉万步是远远不够的。

这得多少步啊。。

[cywjava]

你这新知识进行多轮对话的时候还能记住吗？

多轮对话后，会胡说了。。因为他原来里面就一些相似的内容 。

[suc16]

你这新知识进行多轮对话的时候还能记住吗？

多轮对话后，会胡说了。。因为他原来里面就一些相似的内容 。

对啊，你不做lora的话，问他问题，他也会有一种回复。现在就是想让新学的内容彻底替换原始的训练集的内容，也就是新回答B生成概率远大于原回答C，P(B)>P(C)，我理解是有两种思路。
第一种，让prompt够独特，每次提问时候都输入和训练集一致的prompt。也就是让模型学到条件概率，在prompt是A的情况下，生成回答B的概率P(B|A)最大。
第二种，生成非常多的prompt和回答B组合，加入训练集训练，让P(B)变大。

[franklyd]

我觉得让prompt独特一些比较可行。在使用的时候，可以封装一下用户的提问，这样用户可以无感。

[suc16]

我觉得让prompt独特一些比较可行。在使用的时候，可以封装一下用户的提问，这样用户可以无感。

是的，感觉langchain就是这种理念，要把LLM做成需要的应用还是要做一些封装的。

[cywjava]

我已经解决了

[SmileSmith]

我已经解决了

请问这边是怎么解决的？ 增加训练数据吗？

[huangxd-]

我已经解决了

同问怎么解决的

[starplatinum3]

请问不独特的 prompt 要训练很多步，独特的训练少一点吗，要分成两次训练吗，独特的训练步数和不独特的一样，会有什么不好的地方吗

[Tungsong]

我已经解决了

请问是怎么解决的

[RickFallen]

我已经解决了

蹲

[shangzhensen]

如何解决的呢？

[HOUTASU]

蹲

[ChenBinfighting1]

同问这个是怎么解决的，非常感谢