Como depurar um prompt que gera respostas ruins

Um método sistemático para diagnosticar por que um prompt falha e corrigi-lo sem tentativa e erro.

Última atualização: · Versão em Markdown

Os modos de falha mais comuns

  • Falta o objetivo: você descreveu a tarefa, mas não como é o sucesso — o modelo adivinha os critérios de aceitação.
  • Escopo ambíguo: 'breve' significa 50 palavras para você e 500 para o modelo. Especifique números.
  • Falta contexto: o modelo não tem as restrições, as definições ou o histórico que deixam a tarefa inequívoca na sua cabeça.
  • Formato errado: você quer uma tabela e o modelo entrega texto corrido. Você quer JSON e o modelo acrescenta blocos de markdown.
  • Instruções conflitantes: 'seja conciso' mais 'cubra tudo' no mesmo prompt geram uma média sem utilidade.
  • Nenhuma âncora para a informação ausente: quando o modelo não sabe algo, ele preenche a lacuna. Dizer a ele para sinalizar as lacunas evita alucinações.

O processo de depuração

  • Passo 1 — isole o sintoma: anote exatamente o que deu errado. 'Longo demais', 'formato errado', 'fatos inventados', 'não entendeu o ponto', 'inconsistente entre execuções'.
  • Passo 2 — encontre a instrução que falta: para cada sintoma, pergunte 'o que eu precisaria dizer a uma pessoa capaz para evitar isso?' Essa instrução que falta é o que entra no prompt.
  • Passo 3 — acrescente uma correção de cada vez: mude uma única variável por execução para saber o que realmente resolveu. Várias mudanças ao mesmo tempo tornam impossível saber qual funcionou.
  • Passo 4 — teste com casos de borda: rode o prompt corrigido em uma versão mais difícil da tarefa, com uma entrada curta, uma longa e uma com dados faltando. Prompts reais precisam dar conta de tudo isso.
  • Passo 5 — fixe o que funciona com um exemplo de formato: quando a saída estiver certa, acrescente um exemplo de uma linha do formato exato que você quer. Isso evita desvios quando você reutilizar o prompt.

Antes de reescrever na tentativa e erro um prompt que falha, encontre o objetivo, o contexto ou o formato que faltam com o analisador de prompts.

Templates

Autodiagnóstico de prompt

Você é um revisor de qualidade de prompts. Analise o prompt a seguir e identifique os 3 principais motivos pelos quais ele pode gerar uma saída ruim.

Para cada problema:
1. Dê nome ao modo de falha (ex.: "falta restrição de formato", "escopo ambíguo", "nenhuma âncora para informação ausente").
2. Cite a parte exata do prompt que causa o problema.
3. Escreva uma correção em 1 frase.

Depois, reescreva o prompt completo com as três correções aplicadas.

Prompt para revisar:
"""
[cole o prompt que está dando resultados ruins]
"""
Abre o analisador com o prompt já preenchido.

Comparação de saídas: o que mudou?

Compare estas duas saídas de prompt e explique qual mudança de instrução geraria a saída B em vez da saída A.

Saída A (ruim):
"""
[cole a saída ruim]
"""

Saída B (boa):
"""
[cole um exemplo da saída que você realmente quer]
"""

Concentre-se em:
- Qual regra de formato de saída faltou no prompt que gerou A?
- Qual restrição ou exemplo tornaria A impossível e B previsível?
- Escreva o acréscimo mínimo ao prompt original (1–3 linhas) que fecha essa lacuna.
Abre o analisador com o prompt já preenchido.

Perguntas frequentes

Por que meu prompt funciona às vezes e às vezes não?
Saídas inconsistentes costumam significar que o prompt tem uma ambiguidade que o modelo resolve de um jeito diferente a cada vez — não há uma única interpretação correta, então ele escolhe uma ao acaso. A correção é reduzir a ambiguidade: especifique o formato com um exemplo, restrinja o escopo com números e remova instruções conflitantes. Quando a consistência rigorosa importar, também reduza a temperatura do modelo, se você tiver controle sobre ela, ou fixe a saída em um JSON Schema quando houver essa opção.
Quantas iterações costuma levar para corrigir um prompt?
A maioria dos problemas de prompt se resolve em 2–3 iterações quando você muda uma coisa de cada vez. Erros comuns que prolongam o processo: mudar várias coisas ao mesmo tempo (aí você não sabe o que funcionou), testar só com a entrada original (deixando de fora os casos de borda) e corrigir sintomas em vez das causas. Um prompt que dá conta de 5 entradas de teste variadas de forma confiável está realmente corrigido. Um que só passa no caso de teste original vai quebrar em produção.