Skip to content

11.3 示例顺序与风格偏移

引言:示例的"顺序"远比你想象得重要

示例的顺序(ordering)会深刻影响模型的行为、风格、结构与偏好。这一现象称为 Example Ordering Bias(示例顺序偏移)

11.3.1 为什么示例顺序会影响模型

模型是"概率预测系统",在看到 Few-shot 示例时:它会从靠前的示例中提取更强的行为模式。

  • 模型的 attention 会偏好"最近看到的模式"
  • 示例越靠前,形成的"行为锚点"越强
  • 靠后的示例权重会被削弱(尾部衰减)

权重分布:示例1 > 示例2 > 示例3

11.3.2 示例顺序对模型行为的五大影响

偏移类型说明
风格偏移最前面的示例强烈影响语气、句式、情感倾向
结构偏移靠前示例决定输出结构(列表/编号等)
内容倾向偏移不同示例的主题影响模型默认的推理方向
推理方式偏移模型倾向采用第一个示例的推理方式
格式锁定偏移模型强烈模仿第一个示例的输出格式

11.3.3 如何设计最佳示例顺序

最佳顺序:将最希望模型模仿的示例放在第一个。

位置作用
示例 1主导风格+主导结构(最重要)
示例 2补充行为模式、覆盖边界场景
示例 3稳定行为、强调约束、展示一致性

11.3.4 常见错误顺序

错误后果
最差的示例放在第一个模型直接模仿错误行为
风格完全不同的示例混在一起风格污染、语气扭曲
示例之间缺乏一致性输出结构极其不稳定

11.3.5 大厂应对策略

策略说明
统一风格所有示例保持一致风格
统一结构所有示例输出结构完全一致
单一任务类型示例不能跨任务
"主示例"机制第一个示例必须是行为模板

11.3.6 工程师最佳做法

✓ 主示例放在第一位
✓ 所有示例风格一致
✓ 所有示例结构一致
✓ 示例数量控制在 2-3 个
✓ 示例不得跨任务类型

本节小结

关键要点

  1. 示例顺序决定模型行为的权重
  2. 第一个示例影响:风格、结构、推理方式
  3. 示例越靠前,影响越大
  4. 示例之间必须风格一致、结构一致

示例顺序是 Few-shot 的关键,接下来我们将学习:动态示例选择