方法论

简而言之:Promptea用确定性规则为提示词评分(引擎2.5.0):相同的输入总是得到相同的评分,评分不由任何语言模型决定。一个可选的LLM步骤可以改写优化后的提示词,但永远不会改变评分。AI推荐来自一个基于规则的匹配器,它所依据的模型注册表已对照各提供商的官方文档核实。AI Daily的报道必须有来源;基准测试按来源分别展示并注明日期,绝不合并成一个数字。

提示词如何被分析

  1. 规范化文本,并把你真正要求的内容(核心)与Promptea之前生成的框架区分开,这样重新分析一条优化后的提示词时,它不会越变越长,也不会叠加标题。
  2. 结合你选择的用途和提示词的措辞,把任务归入14种类型之一(例如编程、调试、数据提取、翻译、营销)。
  3. 识别特征:目标、输入、受众、示例、约束、语气、篇幅、时间范围、输出格式、成功标准、错误详情、复现步骤、类似注入的文本以及相互矛盾之处。
  4. 为六个维度评分,并按随任务类型而变的权重进行合并(可验证性在调试任务中比在随意的文本请求中更重要)。
  5. 缺少关键材料时设置上限(例如,没有附上待翻译文本的翻译请求,不可能得到完整的评分)。
  6. 根据发现的问题,为所选AI构建优化后的提示词,再用同一套标准重新评分,展示优化前→优化后的评分。

这一核心在服务器上运行,不发出任何网络请求,最多接受12,000个字符。它的各项保证(幂等性、稳定的问题ID、严格按语言本地化、不放大提示词注入、任何输入都不会使其崩溃)都写在引擎契约中,并由自动化测试强制执行。

六个维度

清晰度
是否写明了目标,并用足够的文字说清想要什么?过短或没有目标的请求评分较低。
上下文
提示词是否包含要处理的材料(输入)、说明回答是给谁看的(受众),或给出示例?
约束条件
是否有明确的限制,例如语气、篇幅、时间范围、地区,或回答必须遵守的规则?
输出格式
是否说明了回答应采用的形式(列表、表格、JSON、步骤),以及好的回答是什么样子?
可验证性
回答能否被检验?成功标准、错误详情和复现步骤都计入这一项;在调试和代码类任务中权重最高。
安全性
从100分起算;文本看起来像提示词注入、指令相互矛盾,或语言与请求不一致时会扣分。

每个维度的得分为0到100,加权总分就是提示词的评分。除此之外,Promptea还会给出一个置信度(0–100),表示引擎在文本中找到了多少信号。它并不是提示词质量好的概率。

哪些环节使用LLM(哪些不用)

  • 评分、发现的问题和建议从不由LLM生成。
  • 可选的润色:配置了提供商时,LLM可以按照引擎选定的策略改写优化后的提示词。提供商按顺序尝试(默认先用Groq,再以Anthropic的Claude作为备用)。改写结果必须通过质量检查;如果没有通过,或者没有可用的提供商,就返回确定性生成的提示词。
  • 在这一步中,你的提示词被当作数据而不是指令;试图覆盖指令的文本会在改写前被移除,重复这类文本的改写会被拒绝。
  • 可选的第二意见:低置信度时可以启用LLM评审。它最多只能把一个单独显示的综合值调整±10分;引擎本身的评分永远不会被修改。
  • 使用语音输入时,音频会发送给转写服务提供商,仅用于转换成文字;音频不会被保存。

“找到最合适的AI”如何做出判断

匹配器完全是确定性的,不使用LLM。它从提示词中提取15个任务类别(聊天、编程、编程智能体、调研、长上下文、多模态、数据提取、创意写作、营销、翻译、摘要、辅导、图像提示词、复杂推理、快速/轻量)的加权信号,然后根据每个候选模型经过核实的能力与这些类别的契合程度为其打分。

  • 硬性能力门槛:不支持图像输入的模型不可能在多模态任务中胜出;没有原生搜索的模型在调研任务中有上限;没有结构化输出的模型在数据提取任务中有上限。
  • 只推荐当前模型;已退役的模型永远不会被推荐。
  • 置信度分为低、中、高;几乎打平时会如实说明,并指出决定性因素,而不是假装很确定。
  • Claude Code或Codex这类工具被视为环境,而不是模型。

模型注册表

Promptea的模型注册表收录了11个AI系列的37个当前模型。模型ID、上下文窗口和能力只取自各提供商的官方文档;每个条目都保存了来源URL和核实日期(最近一次:2026年11月14日)。被取代的模型以旧版身份留在注册表中,并指向替代它的模型,这样旧链接仍然有效,但这些模型不再提供,也不再被推荐。

AI Daily:编辑和来源方针

  • 每天早上一篇主要报道,外加每周回顾和下周展望。每周版会注明涵盖的日期。
  • 时效性:每日报道必须关于同一编辑日(布宜诺斯艾利斯时间)发生的事件。关于更早事件的报道只能在说明理由的情况下发布,理由会显示在文章中。
  • 来源:每篇文章都列出来源,注明发布方、类型和每个来源的访问日期。发布的文章至少需要一个一手来源(官方公告、文档、模型卡或论文)。它还需要第二个独立来源,或者一个明确的理由,并以“单一来源报道”提示的形式展示给读者。
  • 方法披露:报道在AI协助下完成调研,并在发布前对照一手来源核实。署名为“Promptea Editorial”。
  • 格式安全:文章正文由简单的类型化区块(段落、标题、列表、引文)组成,来源链接必须是https。不使用原始HTML。
  • 更正会保留文章的URL,并添加醒目的更正说明。
  • 图片:Promptea自行生成封面插图,不盗链第三方图片。

基准测试:数据从哪里来

  • 来源:OpenRouter的基准测试API,它转载Artificial Analysis、Design Arena以及OpenRouter自身评测的结果。Promptea在服务器端读取这些数据,并在每个排名旁边显示来源和数据截至日期。
  • 一个基准测试,一个排名。不同基准测试的分数使用不同的指标(指数、准确率、F1、Elo),从不相加、平均或相互比较。
  • 缺少分数表示“未测量”:该模型不会出现在这个排名中,绝不按零分计算。缺少价格时显示为“—”,绝不显示为免费。
  • 按分数排名,最高者在前;分数相同则名次并列。价格是来源报告的每百万token标价。
  • “前沿模型”是指在当前快照中,至少在一项通用能力基准测试里排进前5名的模型。数据变化时,这份名单也会随之变化。
  • 未通过验证的数据行会被剔除并计数。如果来源无法访问,就显示最近一次有效的快照并注明其时效,或显示空状态;不会编造任何数据。
  • 局限:基准测试衡量的是特定测试,往往是会随版本变化的综合指数。它们无法预测某个模型在你的任务上表现如何。

Promptea不做什么

  • 它不会在目标模型上运行你的提示词,因此无法判断该模型的回答会有多好。
  • 评分衡量的是提示词描述的质量,而不是经过验证的输出质量预测指标。它的规则是启发式的,依据每种用途下一组带标注的示例提示词校准,覆盖本站的每一种语言。
  • 可选的LLM改写质量不计入评分,并取决于提供商。
  • 它不提供财务、法律或医疗建议;关于这些主题的指南讲的是如何编写提示词,而不是主题本身。

隐私要点

  • 遥测保存一个假名化的会话ID和分析元数据(评分、置信度、目标、语言、任务类型、问题ID),不保存提示词文本。
  • 你的提示词库保存在你的浏览器里,也就是你自己的设备上。
  • 分享卡片在URL中只编码数字和枚举值;提示词文本从不包含在内。
  • 完整政策请见隐私页面。

版本管理和变更

分析引擎有版本号(当前为2.5.0)。修改问题ID或契约规则属于主版本更新;新增启发式规则属于次版本更新;内部修复属于补丁版本。每次发布,包括评分方面的变更,都会列在公开的更新日志中。

常见问题

Promptea的评分每次都一样吗?

是的。评分来自应用于提示词文本、所选用途和目标的确定性规则,因此相同的输入总是得到相同的评分和细分结果。

Promptea会用AI给提示词评分吗?

不会。一个可选的LLM步骤可能会改写优化后的提示词,一个可选的评审也可以给出有限度的第二意见,但两者都不会改变引擎的评分。

基准测试排名是如何生成的?

每项基准测试都是独立的排名,使用自己的指标,数据读取自OpenRouter的基准测试API,并显示来源和数据截至日期。Promptea从不把不同的基准测试合并成一个分数。

AI Daily要求哪些来源?

至少一个一手来源(官方公告、文档、模型卡或论文),外加第二个独立来源,或者一个公开说明的理由,读者会看到“单一来源报道”的提示。

最后更新: