【LLM】大模型幻觉问题的原因和缓解方法

一、幻觉定义

备注（下面提及的两个名词）：

• Faithfulness：是否遵循input content；
• Factualness：是否符合世界知识；
• 传统nlp任务重，幻觉大多数是faithfulness，比如Intrinsic Hallucination（冲突），摘要内容和document内容有冲突；再比如Extrinsic Hallucination（无中生有），生成内容中包含input要求的其他杂七杂八虚假信息；但LLM应该考虑的幻觉Factualness，因为数据源是Open-doman的世界知识

（1）幻觉问题：回答不准确、前后不一致等，生成内容并非基于训练数据或不符合事实。
（2）chatgpt工程师：

考虑到最大似然性目标，模型的这种选择是显而易见的，在这种情况下，模型不会太关注输出内容的正确与否，而是更看重听起来正确或看起来合理，因此，以简单方式训练出的模型常常会产生幻觉。通过微调和人类反馈，我们可以显著减少幻觉的输出，但无法完全消除。免费模型带有较多幻觉࿰