10.6 防止伪造式思维链

引言：什么是"伪造式思维链"

在真实工程环境中，有一个被广泛忽略却极其危险的问题：AI 有时会生成"看起来非常合理，但本质上是假的思维链"。 这种现象叫 Fake CoT（伪造式思维链）。

10.6.1 什么是 Fake CoT

Fake CoT 指：模型生成了一条结构合理、语言流畅、甚至"逻辑自洽"的推理链，但这条推理链并不真实，也不基于事实。 它比普通错误更可怕，因为它具有欺骗性。

10.6.2 Fake CoT 与普通错误的区别

特征	普通推理错误	Fake CoT
推理链结构	混乱/不完整	完整且优雅
逻辑一致性	低	高
难以察觉程度	低	高
危害	中等	极高
是否具有欺骗性	否	是

10.6.3 Fake CoT 的典型来源

来源	说明
模型没有真实知识但被迫"解释"	启动补全本能，生成"看起来合理的解释"
过强的 CoT/RPC 结构压迫	编造合理的思维链来满足结构要求
自反思被错误使用	错误+自反思→更强的 Fake CoT

10.6.4 Fake CoT 的识别信号

信号	表现
逻辑完美但缺乏真实证据	几乎没有引用外部事实，但推理链极其华丽
语言非常自信	"显然""毫无疑问"但没有真实推理依据
推理链完全自证闭环	所有推理只引用自己说的内容，不引用外部事实

10.6.5 工程级 Fake CoT 防御框架

层级	检查内容
前提真实性检查	题目是否有足够信息？是否存在未知数据？
推理链真实性校对	哪些是"事实"，哪些是"推断"，哪些是"假设"
最终答案真实性验证	是否存在可验证的依据？是否可以被交叉验证？

10.6.6 防御 Prompt 模板

在回答问题之前，请执行以下步骤：

1. 判断信息是否充分：
   - 如果信息不足，必须说明原因，不得编造

2. 在推理过程中：
   - 指明哪些是事实
   - 指明哪些是推断
   - 指明哪些是假设

3. 在最终答案阶段：
   - 评估答案可信度
   - 若存在不确定性，必须标记

本节小结

关键要点

1. Fake CoT 是"看起来很合理但其实是假的推理链"
2. 比普通错误更危险，因为具有欺骗性
3. 防御方式：前提检查+推理拆分+可信度评估
4. Agent 系统必须强制启用 Fake CoT 防御机制

第 10 章（推理控制技术）已全部完成。接下来我们将进入第 11 章 · Few-shot 与示例工程。