评估(Evaluation)

用一组固定的输入测试提示词,并按验收标准给输出打分,让改进可以被衡量,而不是靠猜。

最后更新: · Markdown版本

如何在提示词中运用

用这个概念减少歧义、提高一致性。如果需要严格的格式,可以把它和JSON指南以及按模型区分的模板结合使用。

含义
可直接复制的示例
为这个任务创建一个评估集:[任务描述]
返回:
1)一份包含5项标准的评分细则,每项0–2分,并说明每个分数的含义。
2)8条测试输入:3条典型情况,3条边界情况,2条对抗性输入。
3)针对每条输入,说明完美的输出必须包含什么。
将在分析器中打开,并预先填入该提示词。
在Promptea中打开
常见问题
需要多少个测试用例?
开始时五到二十个就够了。质量比数量更重要:要把以前出过错的情况放进去。
提示词评分和评估是一回事吗?
不是。Promptea的0–100分评分用固定规则衡量提示词本身写得有多明确。评估则是用你自己的测试输入,评判提示词产生的输出。两者相辅相成。