Skip to content

11.4 泛化性示例设计

引言:模型不是在"学习答案",而是在"学习模式"

如何设计"具有泛化能力"的示例?模型不能死记你给的示例,必须学的是"方法",不是"特例"。如果示例泛化性差,模型会陷入 Example Overfitting(示例过拟合)

11.4.1 泛化性示例的五大原则

原则说明
去内容化内容越具体,泛化性越差;不使用真实品牌、真实案例
任务抽象化展示任务逻辑、行为步骤,而不是某个特定主题
行为示范化示范如何思考、如何组织结构,而不是展示任务结果本身
多样性覆盖示例不能同质化,必须覆盖不同结构、长度、语气
格式稳定性虽然结构可以多样化,但格式必须统一、稳定

11.4.2 去内容化示例对比

类型示例问题
错误"苹果发布新 iPhone..."模型会倾向输出"科技新闻风格"
正确"X 是一个主题,其中包含三个关键点:A、B、C"模型学到"总结方法"

11.4.3 如何设计泛化型示例

  1. 确定任务本质:写出任务核心
  2. 写出行为链:阅读输入→提取要点→组织结构→输出模板
  3. 用抽象内容写示例:避免真实文本
  4. 改变表面表达:确保多样性
  5. 保持结构与任务一致

11.4.4 泛化性示例模板

【示例 1:短摘要】
输入:"X 包含若干要点……"
输出:- 要点 A / - 要点 B / - 要点 C

【示例 2:标准摘要】
输入:"给定主题 Y,其中包含多个信息点……"
输出:- 核心观点 / - 关键要点 / - 总结

【示例 3:长摘要】
输入:"一段较长的描述,包含多个层次的信息……"
输出:- 主题 / - 重点 / - 结构化总结

11.4.5 常见错误

错误后果
使用真实新闻/品牌风格污染
所有示例风格完全相同泛化能力不足
示例太复杂模型记内容而非行为
多示例结构不一致输出不稳定

11.4.6 泛化性 QA Checklist

✓ 示例内容是否足够抽象?
✓ 是否避免了具体领域?
✓ 是否展示行为,而非答案?
✓ 示例之间是否具有内容多样性?
✓ 输出结构是否统一?

本节小结

关键要点

  1. 模型必须学习"行为",而不是"示例答案"
  2. 内容要抽象、结构要统一、表达要多样
  3. 泛化示例可显著提升任务稳定性
  4. 防止模型"死记示例"是工程设计重点

泛化性示例是 Few-shot 的高级技巧,接下来我们将学习:示例与 CoT 的结合