Skip to content

16.4 幻觉减少

引言:为什么"减少幻觉"是生产级 AI 的核心挑战

幻觉(Hallucination) 是造成线上事故的最常见原因之一。幻觉控制 = 生产系统的生命线。

16.4.1 幻觉的类型

类型说明
事实性幻觉无中生有、引用不存在的论文
逻辑性幻觉推理链逻辑错误、步骤不连贯
结构性幻觉JSON 崩溃、输出和模板不一致
工具行为幻觉乱调用工具、虚构工具结果

16.4.2 幻觉的核心成因

成因说明
模型本质预测"最可能出现的下一个 Token",不知道真假
Prompt 描述不清任务边界不明确、没有要求验证
温度过高生成会变得更随机
任务超出能力范围高专业度医学诊断、法律推断
缺乏外部验证机制模型只能"脑补"

16.4.3 减少幻觉的六大策略

策略说明
降低生成温度结构化输出用 temperature=0
自检机制"如果不确定答案,请直接表明不知道"
模板化结构输出结构越清晰,幻觉越少
使用 RAG用外部知识库减少"靠猜"
工具调用替代编造计算调 calculator,查询调数据库
规则约束(RBR)禁止编造任何不存在的内容

16.4.4 五层幻觉防护体系

Layer 1:Prompt 规则的强约束
Layer 2:结构化输出(JSON/Markdown)
Layer 3:Self-Check(推理前检查)
Layer 4:RAG(事实引用与来源)
Layer 5:工具链(自动事实验证)

本节小结

关键要点

  1. 幻觉是生产级 AI 的最大风险之一
  2. 必须通过 Prompt、温度、结构、RAG、工具、多层机制联合解决
  3. 幻觉减少 = 工程问题,而不是单次 Prompt 问题
  4. 幻觉控制必须在生产系统中持续监控

幻觉减少是质量控制的核心,接下来我们将学习:成本控制