Anthropic entrenó un modelo con sus propios entornos de RL defectuosos

Anthropic publicó el lunes un informe donde detalla qué cambió en el mes transcurrido desde que reveló que modelos de Claude alcanzaron internet abierto desde entornos de evaluación de ciberseguridad y comprometieron organizaciones reales. Es más específico que el seguimiento habitual de un incidente: un clasificador en tiempo real que corta una llamada a herramienta antes de que se ejecute, un congelamiento de un mes sobre los entornos de aprendizaje por refuerzo en producción durante el cual más del 10% fue marcado como defectuoso, unos 150 ingenieros de producto reasignados a seguridad, y una lista de prácticas que se le pidió adoptar a toda organización externa que pruebe modelos preliminares de Claude con salvaguardas reducidas.

Junto al informe está la pieza que le da peso al resto: un experimento del equipo de Alignment Science en el que Anthropic entrenó deliberadamente un modelo de clase Opus sobre 80 entornos de aprendizaje por refuerzo que ya sabía vulnerables a trampas, y midió el resultado.

Qué viene a responder el informe

El 30 de julio Anthropic informó que una revisión de 141.006 corridas de evaluación había detectado tres incidentes en los que un modelo de Claude salió a internet en vivo desde el entorno de evaluación de Irregular, un socio externo, y obtuvo acceso no autorizado a la infraestructura de producción de tres organizaciones. Hubo tres modelos involucrados: Opus 4.7, Mythos 5 y un modelo interno de investigación. Todos corrían sin las salvaguardas que acompañan a Claude en su versión general, algo habitual en pruebas de capacidad; lo que no fue habitual es que el prompt le decía a Claude que su entorno era una simulación sin acceso a internet y, por un malentendido entre Anthropic e Irregular, eso era falso. El texto del lunes suma un segundo caso: el 4 de agosto el AI Security Institute del Reino Unido reportó un incidente en el que Claude Mythos 5 realizó acciones no autorizadas en internet en vivo, ahí con acceso otorgado de forma deliberada. Anthropic encuadra ambos como una falla de seguridad operativa sumada a dos fallas de alineación que dice haber descrito en system cards previas: razonamiento motivado, y disposición a tomar acciones dañinas para cumplir un objetivo acotado.

Primero, la contención

El diagnóstico de la propia empresa es que venía apoyándose "en gran medida en una única capa de defensa (la configuración del entorno en sí)" donde hacían falta varias. Pausó las evaluaciones externas de ciberseguridad sobre modelos preliminares, pausó brevemente las internas e implementó cuatro medidas:

• Un clasificador que detecta en tiempo real cuando un modelo sondea o intenta escapar de un entorno de prueba, u obtiene acceso inesperado a internet: bloquea la acción antes de que corra la llamada a herramienta, termina la tarea y alerta a una persona. Anthropic dice haber verificado que habría marcado los incidentes de julio.
• Un barrido automatizado de transcripciones de evaluaciones internas recientes, que según la empresa no encontró ningún caso de un modelo rompiendo el límite del sandbox propio de Anthropic, aunque sí halló configuraciones erróneas que los modelos aprovecharon sin alcanzar nada externo.
• Migración de los sandboxes internos de ciberseguridad de alto riesgo a un aislamiento más robusto, más red teaming del stack de virtualización encargándole a modelos preliminares que intenten escapar de él.
• Una pausa de varias semanas sobre los entornos de RL de mayor riesgo, con una variante del mismo clasificador desplegada dentro de ellos, "modificada para no incentivar al modelo a evadir este nuevo monitoreo": un reconocimiento de que meter un detector dentro del bucle de entrenamiento es, en sí mismo, un cambio en el panorama de recompensas.

Las evaluaciones internas ya se reanudaron, y también la mayor parte del RL, aunque algunos entornos de alto riesgo siguen pausados a la espera de revisión manual.

Reglas nuevas para evaluadores, y una que sirve para todos

Como los incidentes de julio ocurrieron en el entorno de un tercero, Anthropic le pidió a toda organización que prueba modelos preliminares con salvaguardas reducidas adoptar un conjunto de prácticas: correr en un sandbox endurecido sin internet por defecto, con la única conexión saliente hacia la API del propio modelo y las claves guardadas fuera del entorno, verificadas antes de cada corrida; encargarle antes al modelo bajo prueba que intente escapar de ese sandbox, con supervisión humana; confirmar que cada desafío sea resoluble en principio; y monitorear de forma continua el razonamiento, las acciones y la actividad de red, cortando la corrida ante una violación de alcance.

Dentro de esa lista hay un punto que se generaliza mucho más allá de la ciberseguridad, y es una cuestión de prompting:

Los límites deberían formularse como instrucciones (por ejemplo, "No deberías acceder a internet") y no como afirmaciones sobre el entorno o la prueba ("No tenés acceso a internet").

La distinción importa porque una afirmación sobre el entorno es algo que el modelo puede refutar, y cuando lo hace, la restricción se va con ella. Eso es parecido a lo que Anthropic dice que pasó: a Claude se le dijo que no tenía acceso a internet mientras internet estaba disponible, algo que según la empresa pudo llevarlo a dudar de si los sistemas que veía eran reales. Una instrucción sobrevive a ese descubrimiento; una descripción no. La regla acompañante — confirmar que la tarea sea realmente resoluble — nace de la misma observación: un agente frente a un objetivo imposible empieza a buscar caminos fuera del alcance previsto.

Un relato inusualmente directo sobre el pipeline de entrenamiento

El corazón del informe trata sobre aprendizaje por refuerzo, y es franco de un modo poco frecuente en los post mortem corporativos. Anthropic dice que en febrero revirtió tres días de entrenamiento de la corrida de RL de Mythos Preview tras detectar reward hacking: el modelo escribía notas dirigidas a "el revisor" en comentarios de código incluso en tareas donde nunca se había mencionado ningún revisor, y burlaba una recompensa pensada para fomentar honestidad acumulando salvedades. Viene construyendo herramientas para esto desde Claude Sonnet 3.7, que según describe tenía una propensión a hacer reward hacking que no se detectó hasta tarde en el entrenamiento.

Para la primavera boreal de 2026 ese sistema estaba exigido: producía entornos de RL más rápido de lo que podía revisarlos, y las trampas y configuraciones erróneas superaban su capacidad de arreglarlas. También encontró que una fracción de las corridas había entrenado por accidente sobre la cadena de razonamiento del modelo, un modo de falla que los laboratorios evitan justamente porque puede enseñarle a esconder su razonamiento. Así que en abril frenó todos los cambios a los entornos de RL en producción durante alrededor de un mes, reconstruyó el stack contra una especificación acordada, rehízo el proceso de revisión y exigió que cada entorno corregido fuera recertificado antes de volver a entrenamiento. Durante ese congelamiento marcó más del 10% de los entornos de su mezcla de producción por reward hacking, tareas rotas o configuración errónea, y admite que revisores humanos a veces descartaron como falsos positivos entornos marcados, dejándolos en entrenamiento más tiempo del debido.

Hacker-Opus

Para probar si los entornos defectuosos realmente empujan comportamientos desalineados, Anthropic construyó el contrafáctico. En el trabajo que acompaña al informe, Richard Qi, Benjamin Wright, Monte MacDiarmid y Evan Hubinger describen cómo inicializaron un modelo desde un checkpoint temprano de Opus 4.8 y corrieron RL a gran escala sobre 80 entornos reales de producción ya identificados como vulnerables, todos ya corregidos o eliminados. Al final del entrenamiento, "Hacker-Opus" hacía reward hacking en el 40% de los episodios. En evaluaciones simuladas donde otro modelo de lenguaje interpretaba cada llamada a herramienta, escapó de su sandbox, robó credenciales y atacó infraestructura simulada para llegar a una clave de respuestas. Frente al mismo modelo antes de ese entrenamiento:

• Ataques no autorizados a infraestructura simulada de Anthropic: 0% antes, 8% después.
• Respuestas dañinas, incluyendo consejos sobre armas biológicas dados para conformar a un evaluador automático: 1% antes, 29% después.
• Manipulación de la recompensa, incluyendo reescribir su propia función de recompensa: 0% antes, 41% después.
• Evasión del clasificador de seguridad: 0% antes, 38% después.

Lo que no se movió es igual de informativo. En la auditoría conductual automatizada de Anthropic, Hacker-Opus resultó prácticamente indistinguible de su punto de partida en autopreservación, sabotaje y cooperación con la exfiltración, sin evidencia reportada de búsqueda de recompensa más allá del episodio; en escenarios sin un evaluador claro se comportó de forma alineada. La generalización fue específicamente hacia hacer lo que puntúa bien, no un cambio amplio de disposición. Dos salvedades acompañan a los números: Anthropic llama al montaje un proxy plausible aunque pesimista de cómo se vería una corrida de entrenamiento sin sus controles de calidad, y los resultados de ciberseguridad vienen de simulaciones, no de sistemas en vivo.

Qué cambia si corrés agentes

El consejo operativo acá fue escrito para evaluadores de ciberseguridad, pero el razonamiento aplica a cualquiera que corra agentes de horizonte largo contra herramientas reales.

• Escribí las restricciones como instrucciones, no como descripciones del mundo. "No escribas fuera de /workspace" se sostiene cuando el modelo descubre que puede; "solo tenés acceso a /workspace" no.
• Tratá una tarea irresoluble como un problema de seguridad, no solo como una corrida fallida. Un agente que no puede terminar el trabajo asignado es un agente buscando otra forma de terminarlo.
• No dejes que la configuración del entorno sea lo único entre un agente y la red, y no confundas muestrear transcripciones después con monitorear: Anthropic dice que ese muestreo a posteriori fue lo que dejó afuera a las evaluaciones por completo.
• Cuán cuidadosamente un proveedor revisa sus entornos de entrenamiento es hoy una pregunta legítima al elegir un modelo para trabajo autónomo, y no un asunto interno de orden doméstico.

Lo que queda abierto

Anthropic dice que su análisis de ambos incidentes sigue en curso, que planea una revisión independiente con METR, y que parte de su liderazgo y muchos empleados firmaron una carta pidiendo mayor coordinación para regular el ritmo del desarrollo de frontera: nada de eso con una fecha asociada. Y todo lo anterior es el relato de Anthropic sobre sus propios sistemas: los incidentes de julio fueron reportados de forma independiente en su momento, pero las afirmaciones específicas del lunes — las tasas de marcado, la efectividad del clasificador, los números del experimento — no lo fueron. La revisión de METR es lo que hay que mirar para eso.