如何调试输出不理想的提示词

一套系统的方法:找出提示词失效的原因,不靠反复试错就把它修好。

最后更新: · Markdown版本

最常见的失效模式

  • 缺少目标:你描述了任务,却没说明什么样才算成功——模型只能去猜验收标准。
  • 范围含糊:“简短”对你来说是50字,对模型来说可能是500字。请写明数字。
  • 缺少上下文:在你脑中让任务毫无歧义的约束、定义或背景,模型并不知道。
  • 格式不对:你想要表格,模型给了大段文字;你想要JSON,模型却加上了markdown代码块。
  • 指令冲突:同一个提示词里既要“简洁”又要“面面俱到”,结果只会是两头折中的平庸内容。
  • 缺少信息时没有兜底:模型不知道某件事时,会自己把空白补上。告诉它把缺口标出来,可以防止幻觉。

调试流程

  • 第1步——锁定症状:准确写下哪里出了问题。“太长”“格式不对”“编造事实”“没抓住重点”“多次运行结果不一致”。
  • 第2步——找出缺失的指令:针对每个症状,问自己“要避免这种情况,我需要对一个能干的人说什么?”缺的那条指令,就是要加进提示词的内容。
  • 第3步——一次只加一个修复:每次运行只改一个变量,这样你才知道到底是什么起了作用。同时改好几处,就无法判断是哪一处生效。
  • 第4步——用边界情况测试:分别用更难的任务版本、很短的输入、很长的输入和缺少数据的输入,运行修复后的提示词。真实场景中的提示词需要应对所有这些情况。
  • 第5步——用格式示例固定有效的写法:输出正确之后,加一行你想要的确切格式示例。这样复用提示词时,输出就不会跑偏。

在靠反复试错改写一条失效的提示词之前,先找出缺失的目标、上下文或格式,可以使用提示词分析器。

模板

提示词自我诊断

你是一名提示词质量审查员。分析下面的提示词,找出它可能产生糟糕输出的3个主要原因。

针对每个问题:
1. 说出失效模式的名称(例如“缺少格式约束”“范围含糊”“缺少信息时没有兜底”)。
2. 引用提示词中导致这个问题的原文。
3. 用一句话写出修复方法。

然后,应用全部三项修复,重写整个提示词。

待审查的提示词:
"""
[粘贴输出效果不好的提示词]
"""
将在分析器中打开,并预先填入该提示词。

输出对比:改了什么?

对比下面两个提示词输出,并说明怎样修改指令,才能得到输出B而不是输出A。

输出A(差):
"""
[粘贴差的输出]
"""

输出B(好):
"""
[粘贴一个你真正想要的输出示例]
"""

重点关注:
- 生成A的提示词缺少了哪条输出格式规则?
- 加上什么约束或示例,能让A不可能出现、让B稳定可预期?
- 写出对原提示词最小的补充(1–3行),以弥补这个差距。
将在分析器中打开,并预先填入该提示词。

常见问题

为什么我的提示词有时有效,有时无效?
输出不一致,通常意味着提示词存在歧义,模型每次的理解都不一样——没有唯一正确的解读,它就随机选一种。解决办法是减少歧义:用示例规定格式,用数字限定范围,删掉相互冲突的指令。如果非常需要稳定一致,而你又能控制模型的temperature(温度)设置,就把它调低;在支持的情况下,也可以用JSON schema锁定输出。
修好一个提示词通常需要迭代几次?
如果每次只改一处,大多数提示词问题在2–3次迭代内就能解决。会拖长过程的常见错误有:一次改多处(无法判断是哪一处起了作用)、只用原始输入测试(漏掉边界情况),以及只治症状、不找根本原因。能稳定处理5个不同测试输入的提示词,才算真正修好;只能通过原始测试用例的提示词,到了生产环境就会出问题。