生成答案重复

[loki1017]

非常感谢您的贡献，我基于活字1.0进行了lora模型的复现工作，下面是我的复现结果：

我想请教您关于模型回答一直重复的问题（在temperature=1.0的情况下），我在进行其他模型训练的时候也经常遇到类似的问题，我想知道这个问题产生的具体原因是什么？是因为训练方式的原因，还是因为推理时参数设置的原因呢？万分感谢！！！

[cookie925]

我也有这个问题

[loki1017]

目前我也在探索重复的解决方案，有些许想法，如果有大佬知道，也请给出指正：

1. 与数据集质量有关，模型在过拟合的情况下很容易产生重复内容，如果你的数据集数量少可以适当地扩充数据量。
2. 一些模型在推理阶段也要参考固定的template，比如baichuan，llama
   推荐参考此项目：推理chinese-llama-2回答一直重复 hiyouga/LLaMA-Factory#473