Appearance
16.4 幻觉减少
引言:为什么"减少幻觉"是生产级 AI 的核心挑战
幻觉(Hallucination) 是造成线上事故的最常见原因之一。幻觉控制 = 生产系统的生命线。
16.4.1 幻觉的类型
| 类型 | 说明 |
|---|---|
| 事实性幻觉 | 无中生有、引用不存在的论文 |
| 逻辑性幻觉 | 推理链逻辑错误、步骤不连贯 |
| 结构性幻觉 | JSON 崩溃、输出和模板不一致 |
| 工具行为幻觉 | 乱调用工具、虚构工具结果 |
16.4.2 幻觉的核心成因
| 成因 | 说明 |
|---|---|
| 模型本质 | 预测"最可能出现的下一个 Token",不知道真假 |
| Prompt 描述不清 | 任务边界不明确、没有要求验证 |
| 温度过高 | 生成会变得更随机 |
| 任务超出能力范围 | 高专业度医学诊断、法律推断 |
| 缺乏外部验证机制 | 模型只能"脑补" |
16.4.3 减少幻觉的六大策略
| 策略 | 说明 |
|---|---|
| 降低生成温度 | 结构化输出用 temperature=0 |
| 自检机制 | "如果不确定答案,请直接表明不知道" |
| 模板化结构输出 | 结构越清晰,幻觉越少 |
| 使用 RAG | 用外部知识库减少"靠猜" |
| 工具调用替代编造 | 计算调 calculator,查询调数据库 |
| 规则约束(RBR) | 禁止编造任何不存在的内容 |
16.4.4 五层幻觉防护体系
Layer 1:Prompt 规则的强约束
Layer 2:结构化输出(JSON/Markdown)
Layer 3:Self-Check(推理前检查)
Layer 4:RAG(事实引用与来源)
Layer 5:工具链(自动事实验证)本节小结
关键要点
- 幻觉是生产级 AI 的最大风险之一
- 必须通过 Prompt、温度、结构、RAG、工具、多层机制联合解决
- 幻觉减少 = 工程问题,而不是单次 Prompt 问题
- 幻觉控制必须在生产系统中持续监控
幻觉减少是质量控制的核心,接下来我们将学习:成本控制。


