Cómo probar un mismo prompt en ChatGPT, Claude, Gemini, Grok y DeepSeek

Un método práctico para comparar modelos de IA en tu propia tarea: fijá el prompt y los datos de entrada, escribí criterios de aprobado/desaprobado antes de mirar respuestas, corré una muestra chica y decidí con evidencia en lugar de impresiones. Incluye plantillas para casos de prueba, una rúbrica de puntaje y una revisión lado a lado.

← Volver a guías

Por qué los rankings públicos no alcanzan

Los benchmarks miden tareas puntuales bajo condiciones puntuales. Tu tarea — tus documentos, tu formato, tu idioma — puede comportarse distinto.
Los modelos cambian: salen versiones nuevas y se retiran las viejas, así que una comparación que hiciste hace meses puede ya no valer.
En trabajo repetido, el costo y la velocidad importan tanto como la calidad: una respuesta apenas peor pero mucho más rápida puede ser la elección correcta.
Usá los rankings para elegir 2–3 candidatos y después probalos con tus propios ejemplos.

Armá una prueba justa

Escribí los criterios antes de correr nada: qué tiene que contener una respuesta correcta, qué no puede contener y el formato obligatorio.
Juntá 5–10 entradas reales, con al menos dos difíciles (pedido ambiguo, datos faltantes, entrada muy larga, el caso borde que ya rompió algo antes).
Mantené la tarea y las entradas idénticas entre modelos. Si adaptás el texto a cada modelo, adaptá solo la redacción y la estructura, nunca los requisitos.
Empezá cada corrida en un chat nuevo para que mensajes anteriores o la memoria no contaminen el resultado.
Sacá los datos confidenciales de las entradas de prueba, o usá una herramienta aprobada por tu organización.

Puntuá las respuestas, no tu impresión

Evaluá cada respuesta contra los criterios con aprobado/desaprobado por ítem, y anotá el motivo de cada desaprobado.
Cuando puedas, ocultá qué modelo escribió cada respuesta mientras evaluás; reduce el sesgo por marca.
Si te importa la consistencia, corré cada entrada más de una vez: el mismo prompt puede dar respuestas distintas.
Registrá los fallos por tipo (dato incorrecto, campo faltante, formato roto, regla ignorada). Un patrón te dice si cambiar el modelo o el prompt.
Si todos los modelos fallan el mismo ítem, el problema suele ser el prompt: aclaralo y volvé a correr antes de culpar a los modelos.

Adaptar el prompt a cada modelo sin cambiar la prueba

Claude responde bien a material claramente delimitado (por ejemplo, etiquetas tipo XML) y a prioridades explícitas.
Los modelos de GPT y Gemini siguen bien pasos numerados y un formato de salida explícito; indicá el formato una vez, cerca del final.
Grok y DeepSeek aprovechan lo mismo: la tarea primero, las restricciones en lista y un ejemplo del resultado esperado.
El analizador de Promptea aplica estos ajustes por modelo por vos: elegí la IA destino y compará las versiones optimizadas manteniendo fijos tus requisitos.

Plantillas

Convertir una tarea en casos de prueba

Quiero comparar modelos de IA en esta tarea:

<tarea>
[describí la tarea y pegá el prompt que usás hoy]
</tarea>

Ayudame a armar un set de prueba chico:
1. Listá 6 entradas de prueba: 3 típicas y 3 difíciles (ambigua, con información faltante, muy larga o un caso borde). Describí cada una en una línea; el contenido real lo pongo yo.
2. Para cada entrada, escribí 3–5 criterios de aprobado/desaprobado que tiene que cumplir una respuesta correcta.
3. Listá 2 cosas que cuenten como desaprobado automático (por ejemplo, una cifra inventada o un formato roto).

No resuelvas la tarea. Preguntame si algo de la tarea no está claro.

Se abre en el analizador con el prompt precargado.

Abrir en Promptea

Evaluar una respuesta con una rúbrica

Evaluá la respuesta de abajo contra los criterios. Sos un revisor estricto.

<criterios>
[pegá los criterios de aprobado/desaprobado]
</criterios>

<respuesta>
[pegá la respuesta de un modelo, sin decir qué modelo la escribió]
</respuesta>

Devolvé solo JSON:
{"results": [{"criterion": "...", "pass": true, "reason": "una oración citando la respuesta"}], "auto_fail": false, "summary": "una oración"}

Reglas:
- Juzgá solo lo que está en la respuesta; no des crédito por lo que podría haber querido decir.
- Si un criterio no se puede verificar con la respuesta, marcá pass como false y explicá por qué.

Se abre en el analizador con el prompt precargado.

Abrir en Promptea

Revisión lado a lado de dos respuestas

Compará dos respuestas al mismo pedido. Están etiquetadas A y B; no adivines qué modelo las escribió.

<pedido>
[pegá el prompt original y la entrada]
</pedido>

<respuesta_a>
[pegá]
</respuesta_a>

<respuesta_b>
[pegá]
</respuesta_b>

1. Listá las diferencias de contenido entre A y B y decí cuál está respaldada por la entrada. Si ninguna lo está, decilo.
2. Listá cualquier requisito del pedido que alguna de las dos no haya cumplido.
3. Decí cuál respuesta publicarías tal como está, cuál necesita menos cambios y por qué, en 4 oraciones como máximo.

Se abre en el analizador con el prompt precargado.

Abrir en Promptea

Preguntas frecuentes

¿Cuántos casos de prueba necesito para comparar modelos?

Para una decisión personal o de equipo, 5–10 entradas reales con criterios escritos suelen mostrar diferencias claras, siempre que algunas sean casos difíciles. Si la decisión es cara o la tarea corre a escala, agrandá el set con el tiempo sumando cada fallo que encuentres en el uso real.

¿Puedo usar un modelo de IA para evaluar las respuestas?

Sí, como primera pasada, si los criterios son concretos (contiene X, respeta el formato Y, no inventa cifras). Ocultá qué modelo escribió cada respuesta, pedile al evaluador que cite la respuesta en cada veredicto y revisá vos una parte de sus notas, porque un modelo evaluador también puede equivocarse.

¿Tengo que usar exactamente el mismo prompt en todos los modelos?

Mantené idénticos la tarea, las entradas y los requisitos. Los ajustes chicos de estructura por modelo (delimitadores, dónde va el formato) están bien y suelen ser justos, porque cada proveedor documenta sus propias recomendaciones de prompting. Lo que no podés hacer es darle a un modelo información extra o reglas más laxas.

¿Dónde entran los Benchmarks de Promptea?

La página de Benchmarks muestra cómo se ubican los modelos en benchmarks públicos, con un ranking por benchmark. Usala para armar la lista corta de candidatos y después corré la prueba de esta guía con tu propia tarea para decidir.