StateBench, de Ai2: los modelos de frontera pierden el hilo de valores que cambian en textos largos

El Allen Institute for AI (Ai2) publicó este martes StateBench, un benchmark que hace una pregunta más acotada que la mayoría de las pruebas de contexto largo: no si un modelo encuentra un dato enterrado en un documento extenso, sino si puede seguir un valor que va cambiando a medida que avanza el texto. Según el anuncio, cuatro modelos de frontera resuelven bien las versiones fáciles y se desarman en las difíciles a medida que crece la entrada, con una precisión que cae al 13% o menos en los problemas más largos del nivel más exigente.

Qué mide el benchmark

StateBench plantea el seguimiento de estado como asignación de variables y lo divide en cuatro niveles de dificultad creciente:

• R-trivial: un valor se asigna una vez y nunca cambia (`let x = 4`). El modelo solo tiene que encontrar la asignación original.
• Aperiódico: los valores se sobrescriben (`x = 4`, después `x = 2`). El modelo tiene que encontrar la asignación más reciente y puede ignorar las anteriores.
• Soluble: las actualizaciones dependen del valor actual (`x = x + 5`). Cada paso hay que arrastrarlo, como un marcador que va sumando.
• Finito general: las variables toman el valor de otras o se intercambian (`x = y`). Es el clásico juego de los cinco vasitos, conocido en la literatura como el problema de permutaciones S5, donde un solo intercambio perdido arruina la respuesta final.

Ai2 dice que los cuatro niveles corresponden a distinciones de la teoría de Krohn–Rhodes, una rama del álgebra que descompone los problemas de seguimiento de estado en piezas primitivas. La decisión de diseño práctica es que cada problema difícil se usa para generar tres versiones más fáciles con la misma cantidad de variables, los mismos valores distintos y asignaciones en las mismas posiciones. Solo cambia el tipo de asignación, así que una caída de precisión entre niveles se puede atribuir al tipo de seguimiento requerido y no a la longitud o al formato. El mismo problema de fondo también se presenta en varios formatos, entre ellos ediciones de planilla y un relato de cubos pintados; el dataset trae particiones de prueba que van desde menos de 2.000 tokens hasta 1 millón.

Qué encontró Ai2

Ai2 probó Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol y GPT-6 Luna dándoles una secuencia de asignaciones y pidiéndoles el valor final de cada variable. Los cuatro anduvieron bien en los problemas r-triviales y aperiódicos. En los solubles y de finito general, la precisión cayó fuerte con la longitud. El post no da un desglose por modelo en el texto, así que con el anuncio solo no se puede decir cuál de los cuatro aguantó mejor.

A los modelos abiertos preentrenados les fue peor. Olmo 3 (un transformer de 7B), Olmo Hybrid (7B, con capas recurrentes Gated DeltaNet) y modelos más chicos de 275M y 2.7B, todos entrenados con los mismos datos y nunca con contextos de más de 64.000 tokens, resolvieron en general los problemas r-triviales, se degradaron en los aperiódicos a medida que crecía la entrada y quedaron en nivel de azar en los de finito general. El formato pesó: modelos híbridos y Gated DeltaNet chicos rozaron el techo en búsquedas estilo RULER, pero quedaron cerca del azar con los mismos problemas presentados como ediciones de planilla.

El resultado más contundente sale de entrenar modelos de 275M de parámetros directamente en la tarea, con secuencias de hasta 256 asignaciones, y probarlos con hasta 64.000. Los modelos Gated DeltaNet e híbridos generalizaron casi a la perfección en los tres primeros niveles. Los transformers aprendieron los niveles fáciles, se degradaron con la longitud y nunca aprendieron el nivel de finito general, algo consistente con trabajo teórico previo que sostiene que los transformers no pueden expresar ciertos tipos de seguimiento de estado.

Qué significa si trabajás con contexto largo

Los proveedores publicitan cada vez más ventanas de contexto de cientos de miles o millones de tokens, y las pruebas habituales de la aguja en el pajar miden sobre todo recuperación, que equivale al nivel más fácil de StateBench. Los resultados de Ai2 sugieren que aprobar una prueba de recuperación dice poco sobre si un modelo va a seguir bien un valor que se actualiza, se incrementa o se intercambia a lo largo de una entrada larga.

Para quienes desarrollan, eso se traduce en casos reales: un agente que lee un log largo donde un flag de configuración se activa y desactiva varias veces, una revisión de código en un archivo donde las variables se reasignan por referencia, o una conversación larga donde un objeto cambia de manos. Cuando la respuesta depende de una cadena de actualizaciones y no de la última, conviene no confiar en que el modelo la reproduzca de forma implícita. Pedirle que escriba los estados intermedios, mantener un resumen explícito del estado fuera del prompt o delegar esa contabilidad en código son opciones más robustas que apostar a una ventana de contexto más grande.

Salvedades

Son resultados del propio Ai2; todavía no hay una réplica independiente. El informe técnico está enlazado desde el anuncio, pero esta nota se basa en el post publicado, el repositorio de código y el dataset. El benchmark además asume un conjunto fijo de variables, mientras que los documentos y conversaciones reales van sumando entidades nuevas, una limitación que Ai2 reconoce. El código se publica bajo licencia Apache 2.0 en GitHub.