Como testar um prompt no ChatGPT, Claude, Gemini, Grok e DeepSeek

Um método prático para comparar modelos de IA na sua própria tarefa: fixe o prompt e as entradas, escreva critérios de aprovação e reprovação antes de ler as respostas, rode uma amostra pequena e decida com base em evidências. Inclui templates de casos de teste e de critérios de avaliação.

Última atualização: · Versão em Markdown

Por que os rankings públicos não bastam

  • Os benchmarks medem tarefas específicas em condições específicas. A sua tarefa — seus documentos, seu formato, seu idioma — pode se comportar de outro jeito.
  • Os modelos mudam: versões novas são lançadas e as antigas são aposentadas, então uma comparação que você fez há meses pode não valer mais.
  • Em trabalhos repetidos, custo e velocidade importam tanto quanto a qualidade: uma resposta um pouco mais fraca, mas muito mais rápida, pode ser a escolha certa.
  • Use os rankings para escolher 2–3 candidatos e depois teste esses candidatos nos seus próprios exemplos.

Monte um teste justo

  • Escreva os critérios antes de rodar qualquer coisa: o que uma resposta correta precisa conter, o que não pode conter e o formato exigido.
  • Reúna 5–10 entradas reais, incluindo pelo menos duas difíceis (pedido ambíguo, dados faltando, entrada muito longa, o caso de borda que já quebrou as coisas antes).
  • Mantenha a tarefa e as entradas idênticas entre os modelos. Se você adaptar a redação para cada modelo, adapte só a formulação e a estrutura — nunca os requisitos.
  • Comece cada execução em um chat novo para que mensagens anteriores ou a memória não contaminem o resultado.
  • Remova dados confidenciais das entradas de teste, ou use uma ferramenta aprovada pela sua organização.

Avalie as respostas, não a sua impressão

  • Avalie cada resposta em relação aos critérios, com aprovado/reprovado por item, e anote o motivo de cada reprovação.
  • Quando der, esconda qual modelo escreveu qual resposta enquanto avalia; isso reduz o viés de marca.
  • Rode cada entrada mais de uma vez se a consistência importar: o mesmo prompt pode gerar respostas diferentes.
  • Acompanhe as falhas por tipo (fato errado, campo faltando, formato quebrado, regra ignorada). Um padrão mostra se você deve trocar o modelo ou o prompt.
  • Se todos os modelos falham no mesmo item, o problema costuma ser o prompt: esclareça-o e rode de novo antes de culpar os modelos.

Adaptar o prompt a cada modelo sem mudar o teste

  • O Claude responde bem a material bem delimitado (por exemplo, tags no estilo XML) e a prioridades explícitas.
  • Os modelos GPT e Gemini seguem de forma confiável passos numerados e um formato de saída explícito; declare o formato uma vez, perto do final.
  • O Grok e o DeepSeek se beneficiam do mesmo básico: a tarefa primeiro, as restrições listadas e um exemplo da saída esperada.
  • O analisador do Promptea aplica esses ajustes por modelo para você: escolha a IA de destino e compare as versões otimizadas mantendo seus requisitos fixos.

Templates

Transformar uma tarefa em casos de teste

Quero comparar modelos de IA nesta tarefa:

<task>
[descreva a tarefa e cole o prompt que você usa hoje]
</task>

Me ajude a montar um pequeno conjunto de testes:
1. Liste 6 entradas de teste: 3 típicas e 3 difíceis (ambígua, com informação faltando, longa demais ou um caso de borda). Descreva cada uma em uma linha; eu vou fornecer o conteúdo real.
2. Para cada entrada, escreva 3–5 critérios de aprovação/reprovação que uma resposta correta precisa cumprir.
3. Liste 2 coisas que devem contar como reprovação automática (por exemplo, um número inventado ou um formato quebrado).

Não resolva a tarefa em si. Me pergunte se algo sobre a tarefa não estiver claro.
Abre o analisador com o prompt já preenchido.

Avaliar uma resposta com base em critérios

Avalie a resposta abaixo com base nos critérios. Você é um revisor rigoroso.

<criteria>
[cole os critérios de aprovação/reprovação]
</criteria>

<answer>
[cole a resposta de um modelo, sem dizer qual modelo a escreveu]
</answer>

Retorne só JSON:
{"results": [{"criterion": "...", "pass": true, "reason": "uma frase citando a resposta"}], "auto_fail": false, "summary": "uma frase"}

Regras:
- Julgue só o que está na resposta; não dê crédito pelo que ela talvez quisesse dizer.
- Se um critério não puder ser verificado a partir da resposta, marque pass como false e diga por quê.
Abre o analisador com o prompt já preenchido.

Revisão lado a lado de duas respostas

Compare duas respostas ao mesmo pedido. Elas estão rotuladas como A e B; não tente adivinhar qual modelo as escreveu.

<request>
[cole o prompt original e a entrada]
</request>

<answer_a>
[cole aqui]
</answer_a>

<answer_b>
[cole aqui]
</answer_b>

1. Liste as diferenças factuais entre A e B e diga qual delas é sustentada pela entrada. Se nenhuma for, diga isso.
2. Liste qualquer requisito do pedido que alguma das respostas deixou de cumprir.
3. Diga qual resposta você publicaria como está, qual precisa de menos edições e por quê, em no máximo 4 frases.
Abre o analisador com o prompt já preenchido.

Perguntas frequentes

De quantos casos de teste eu preciso para comparar modelos?
Para uma decisão pessoal ou do time, 5–10 entradas reais com critérios escritos costumam revelar diferenças claras, desde que algumas delas sejam casos difíceis. Se a decisão for cara ou a tarefa rodar em escala, aumente o conjunto com o tempo, acrescentando cada falha que você encontrar no uso real.
Posso usar um modelo de IA para avaliar as respostas?
Sim, como uma primeira passada, se os critérios forem concretos (contém X, segue o formato Y, não inventa números). Esconda qual modelo escreveu cada resposta, peça ao avaliador para citar a resposta em cada veredito e confira por amostragem as avaliações dele, já que um modelo avaliador também pode errar.
Devo usar exatamente o mesmo prompt em todos os modelos?
Mantenha a tarefa, as entradas e os requisitos idênticos. Pequenos ajustes de estrutura por modelo (delimitadores, onde vai o formato) são aceitáveis e muitas vezes justos, porque cada provedor documenta as próprias recomendações de prompt. O que você não pode fazer é dar a um modelo informações extras ou regras mais frouxas.
Onde entram os Benchmarks do Promptea?
A página de Benchmarks mostra como os modelos se classificam em benchmarks públicos, com um ranking por benchmark. Use-a para fazer a lista curta de candidatos e depois rode o teste deste guia na sua própria tarefa para fazer a escolha final.