幻觉:AI为什么会编故事
当AI自信地胡说八道时,发生了什么?
你问AI:"林黛玉是怎么倒拔垂杨柳的?"
AI一本正经地回答:
"林黛玉在《红楼梦》中确实有一段倒拔垂杨柳的故事。当时她因为心情烦闷,来到花园中散步,看到一棵垂杨柳挡住了去路,便一时兴起,运用自己修炼的内力将树拔起……"
等等!林黛玉倒拔垂杨柳?这不是鲁智深的故事吗?
AI不仅答错了,还答得一本正经、有鼻子有眼。这就是 幻觉(Hallucination)——AI自信地编造出虚假信息。
1幻觉的定义
在AI领域,"幻觉"指的是:大语言模型生成的内容看似合理、流畅,但实际上是虚假的、错误的或编造的。
AI编造了不存在的事实。
用户:
爱因斯坦是在哪一年发明电灯的?
AI:
爱因斯坦在1879年发明了电灯。
❌ 爱因斯坦没发明电灯,电灯是爱迪生发明的
AI编造了不存在的引用、论文、书籍。
用户:
请给我一篇关于AI伦理的学术论文引用。
AI:
Smith, J. et al. (2023). "Ethical Implications of Artificial Intelligence." Journal of AI Studies, 15(3), 234-256.
❌ 这篇论文完全不存在,作者、期刊、页码都是编的
AI在推理过程中犯了逻辑错误,但结论看起来"合理"。
用户:
如果所有猫都是动物,所有动物都需要食物,那猫需要食物吗?
AI:
不需要。因为猫是独立的生物,它们可以自己捕猎。
❌ 推理错误:从"猫是动物"和"动物需要食物"应该得出"猫需要食物"
2幻觉产生的根本原因
要理解为什么AI会幻觉,我们需要回到大模型的本质。
🎯 大模型的训练目标
大语言模型在预训练时学的是什么?
预测下一个词。
给定前面的文本,预测下一个最可能出现的词是什么。就这样。
模型没有被训练"说真话",它只是被训练"说连贯的话"。如果编造的故事比真相更"符合语言模式",模型就可能选择编造。
原因1:概率驱动的生成
AI根据概率选择下一个词。有时候"编造"的词概率更高——因为它在训练数据中出现过类似模式。比如你问AI某个不存在的人的生平,它可能会"顺势"编一个,因为"人物介绍"的模式它见过很多次。
原因2:训练数据的局限
AI的知识来自训练数据。如果训练数据中没有某个事实,AI只能"猜"。但它不会说"我不知道",而是会根据相关模式生成一个看起来合理的答案。
原因3:迎合用户的倾向
如果你问AI一个"预设错误"的问题(比如"林黛玉是怎么倒拔垂杨柳的"),AI倾向于顺着你的问题回答,而不是指出你的错误。因为训练数据中,"回答问题"的模式比"纠正问题"的模式更多。
原因4:过度模式匹配
AI学到了很多"表面模式"。比如你让它写论文引用,它知道"论文引用"的格式(作者、年份、标题、期刊、页码),但它不知道"这篇论文是否存在"。它只是生成一个看起来像引用的东西。
3幻觉的双面性
幻觉听起来像是"bug",但它其实是AI创造力的来源。
❌ 负面:不可靠的信息
- •医疗建议可能出错,危及健康
- •法律咨询可能误导,造成损失
- •学术引用可能虚构,影响信誉
- •新闻摘要可能失真,传播谣言
→ 在需要准确性的场景,幻觉是严重问题
✅ 正面:创造力的来源
- •写小说、写故事——本来就是"编"
- •创意头脑风暴——需要"天马行空"
- •角色扮演——需要"虚拟身份"
- •假设性讨论——需要"想象场景"
→ 在需要创造力的场景,"幻觉"就是"想象"
💡 关键洞察
同样一个特性,在不同场景下是"bug"还是"feature"完全不同。问题不在于AI会幻觉,而在于我们怎么用它、怎么管理它。
→ 不要在需要准确性的场景依赖AI的"创造力"
4减少幻觉的实用技巧
虽然幻觉无法完全消除,但我们可以显著减少它。
明确要求AI说"不知道"
在Prompt中加上:"如果你不确定,请直接说不知道,不要编造。"
提供参考资料(RAG)
让AI基于你提供的资料回答,而不是"凭记忆"。RAG(检索增强生成)会先从知识库检索相关内容,然后让AI基于这些内容回答。
→ 把"记忆题"变成"阅读理解题"
要求AI提供来源
让AI在回答时标注信息来源。如果AI无法提供可信来源,你就要警惕了。
降低温度参数
Temperature参数控制AI的"随机性"。温度越低,AI越倾向于选择"最可能"的答案,而不是"有创意但可能错"的答案。(下一篇会详细讲)
→ 对于事实性问题,设置Temperature=0或很低
交叉验证
对于重要信息,用不同方式问AI几次,或者用不同的AI模型问,看答案是否一致。如果答案不一致,说明可能有幻觉。
→ "兼听则明,偏信则暗"
人工验证关键信息
最重要的一点:AI生成的信息,特别是关键信息,一定要人工验证。AI是助手,不是权威。
→ 最终责任在人,不在AI
5如何识别AI是否在幻觉?
🚨 信号1:过于具体的细节
AI给出了非常具体的信息(日期、页码、精确数字),但你无法找到对应来源。越具体,越可能是编的。
例子:"该研究发表在2023年5月15日的Nature杂志第37卷第2期第156-162页"
🚨 信号2:流畅但无来源
AI回答得非常流畅、有理有据,但当你问"信息来源是什么"时,它答不上来或编一个假来源。
测试方法:追问"这个信息哪里来的?"
🚨 信号3:自相矛盾
AI在不同对话或同一对话的不同部分,对同一问题给出了矛盾的答案。
测试方法:用不同方式问同样的问题,看答案是否一致
🚨 信号4:迎合你的预设
你问了一个包含错误前提的问题,AI没有纠正,而是顺着你的错误回答。
测试方法:故意问一个包含错误的问题,看AI是否纠正
6核心总结
🎓 一句话总结
- ①什么是幻觉:AI生成看似合理但实际虚假的内容,是概率生成的"副作用"
- ②为什么产生:AI训练目标是"说得通"而非"说真话",缺乏事实核查机制
- ③双面性:在事实场景是"bug",在创意场景是"feature"——取决于用途
- ④如何减少:明确说不知道、RAG提供资料、标注来源、降低温度、交叉验证、人工核查
- ⑤识别幻觉:过于具体、无来源、自相矛盾、迎合错误预设——四大危险信号
→下一篇预告
👉 下一篇:Temperature(温度)
我们提到"降低温度参数"可以减少幻觉。那什么是温度?为什么温度低AI就更"保守"、温度高AI就更"疯狂"?温度是怎么影响AI生成内容的?下一篇我们来详细讲解这个核心参数。
✏️ 手绘图解 · AI Catch 出品
第 43 篇 / 共 84 篇 · 第五阶段:LLM高级技巧