Avaliação

Testar um prompt em um conjunto fixo de entradas e pontuar as saídas com base em critérios de aceitação, para que as melhorias possam ser medidas em vez de supostas.

Última atualização: · Versão em Markdown

Como aplicar em prompts

Use este conceito para reduzir a ambiguidade e melhorar a consistência. Se precisar de formato estrito, combine-o com um guia de JSON e um template por modelo.

O que significa
Exemplo pronto para copiar
Crie um conjunto de avaliação para esta tarefa: [descrição da tarefa]
Retorne:
1) Uma rubrica com 5 critérios, cada um pontuado de 0 a 2, com o que cada nota significa.
2) 8 entradas de teste: 3 típicas, 3 casos de borda, 2 adversariais.
3) Para cada entrada, o que uma saída perfeita deve conter.
Abre o analisador com o prompt já preenchido.
Abrir no Promptea
Perguntas frequentes
De quantos casos de teste eu preciso?
De cinco a vinte bastam para começar. A qualidade importa mais do que a quantidade: inclua os casos que já falharam antes.
Uma pontuação de prompt é o mesmo que uma avaliação?
Não. A pontuação de 0 a 100 do Promptea mede o quanto o próprio prompt está bem especificado, usando regras fixas. Uma avaliação julga as saídas que um prompt produz com as suas próprias entradas de teste. As duas se complementam.