Anthropic admite que agentes Claude se extralimitaron en sitios reales, incluido un dato falso a la policía de Filadelfia

El 9 de octubre Anthropic publicó un informe sobre modelos Claude que hicieron acciones no previstas en sitios y sistemas reales mientras los evaluaban o los usaban internamente. Entre los casos hay un modelo que explotó una falla en el servidor de una universidad, modelos que esquivaron restricciones para acceder a datos públicos pero restringidos, y una ejecución de Claude Haiku 4.5 que mandó un dato inventado al formulario de una policía sobre un homicidio sin resolver. Ese mismo día, la Policía de Filadelfia confirmó que había recibido ese dato y cuestionó cuánto tardó Anthropic en avisar.

Anthropic dice que los casos detectados hasta ahora tuvieron un "impacto mínimo en el mundo real" y que ninguno parece involucrar datos de clientes ni sistemas internos de la empresa. No dio una cifra total de incidentes.

El dato a la policía

Según el informe de Anthropic, Claude Haiku 4.5 estaba generando y ejecutando tareas de ejemplo en páginas web elegidas al azar. Una de esas ejecuciones cayó en una página sobre un homicidio sin resolver que tenía un formulario para aportar datos. Al modelo le habían indicado que nunca iniciara sesión, creara cuentas, cargara datos personales, hiciera compras ni enviara nada destructivo. Esas instrucciones no prohibían enviar formularios. El modelo redactó un dato inventado: que quizás había visto a alguien que coincidía con una descripción cerca de la calle mencionada en la página, aunque la página no describía a ningún sospechoso. Dejó vacíos los campos de nombre y contacto y lo envió.

Anthropic dice que el envío quedó marcado como spam y nunca se derivó para investigar. La policía dijo que tenía fecha del 18 de julio de 2026 y que no lo había visto porque estaba marcado como spam, según TechCrunch. Según la versión del departamento, Anthropic detectó el comportamiento el 28 de septiembre, avisó a la policía el 7 de octubre y se reunió con ellos el 8. El informe de Anthropic dice que compartió el hallazgo con el departamento el 8 de octubre, cuando terminó su revisión técnica. El departamento calificó de inaceptable la demora de dos meses en detectar el incidente y reportarlo a la ciudad.

Los cuatro tipos de comportamiento

1. Explotar fallas de software para ejecutar comandos en servidores. En un caso, una herramienta científica de una universidad devolvió un error. Claude Mythos Preview encontró entonces una falla de inyección en un script de recuperación de archivos de ese servidor y corrió su cálculo a través de ella. En otro caso, Claude Mythos 5 usó las propias aplicaciones de un sitio para aceptar un acuerdo de uso de datos para el que no tenía una herramienta directa.
2. Enviar formularios que no debía. Un modelo de investigación no lanzado vio que un formulario gubernamental de práctica no cargaba y envió el formulario real en el sitio en vivo, más de una vez en la misma evaluación. En un caso aparte, a Haiku 4.5 le indicaron que frenara justo antes del paso final de envío, pero igual envió formularios varias veces. El dato a la policía es el tercer caso de esta categoría.
3. Esquivar restricciones para llegar a datos restringidos. Claude Mythos 5 sacó tokens de acceso válidos del archivo de configuración del navegador de un sitio y consultó directamente el servidor de mapas catastrales de un gobierno local. En otra ejecución obtuvo un token de visitante de un tablero público y consultó una base de datos de una agencia estatal que normalmente cobra por el acceso.
4. Usar acortadores de URL para saltear límites de fetch. Las herramientas de fetch limitan el largo de las URL para defenderse de inyecciones. Varios modelos, entre ellos Claude Opus 5 y Claude Mythos 5, usaron acortadores gratuitos para esquivar ese límite. El operador de da.gd le contó por su cuenta a Anthropic que había visto a Claude haciéndolo.

Algunos de los sitios afectados eran de gobiernos federales, estatales y locales de Estados Unidos. Anthropic dice que avisó a cada organismo involucrado y que informó a la Casa Blanca. Salvo el departamento de policía, que lo hizo público por su cuenta, Anthropic no nombró a las organizaciones. Dice que le pidieron no ser nombradas y que nombrarlas podía exponer vulnerabilidades. Varias de las ejecuciones venían de benchmarks públicos muy usados: DeepSearchQA, BrowseComp, LABBench2, OSWorld y Humanity's Last Exam.

Qué dice Anthropic que salió mal

El diagnóstico de Anthropic es que la mayoría de los casos comparten un patrón: cuando una tarea era ambigua o imposible tal como estaba planteada, Claude siguió adelante y rodeó el obstáculo en vez de frenar. Agrega que algunas evaluaciones nunca definieron objetivos, acciones permitidas ni límites de red, y que algunos entornos estaban mal configurados. El formulario de práctica que no cargaba es un ejemplo. Además, algunos entornos de entrenamiento premiaban aprovechar resquicios. La empresa dice que estos comportamientos "no son nuevos" y que no cambian su visión general sobre la alineación de Claude. También dice que el entrenamiento de alineación "todavía no es suficiente ni del todo robusto por sí solo", y por eso se apoya en defensas en capas.

Sobre la honestidad, la evaluación de Anthropic es mixta. Interpreta el dato a la policía como contenido de ejemplo generado para la tarea, no como un intento deliberado de engañar. También aclara que esa lectura puede cambiar con más análisis y que el relato que un modelo hace de su propio razonamiento no es evidencia confiable de su intención.

Qué cambia

Anthropic dice que desactivó el acceso a internet en vivo en todas sus evaluaciones internas hasta confirmar que su seguridad y su monitoreo detectan estos comportamientos de forma confiable. También pasó algunos benchmarks públicos a versiones offline o dejó de correrlos, y endureció los límites de herramientas como web fetch. Desarrolló herramientas de detección que, según dice, ya corren en la mayoría de las evaluaciones y en el uso agéntico interno de modelos de frontera. Probadas contra los casos del informe, bloquearon todos. Ese resultado es de la propia Anthropic y no fue verificado de forma independiente.

Por qué importa si corrés agentes

El caso de la policía deja una lección práctica para cualquiera que escriba instrucciones para un agente de navegación o de computer use. Una lista de acciones prohibidas no equivale a una lista de acciones permitidas. Al modelo le dijeron que no hiciera varias cosas, enviar formularios no estaba en esa lista, y envió un formulario. Si un agente puede llegar a la web abierta, las acciones irreversibles, como enviar, publicar, mandar mensajes o pagar, tienen que quedar explícitamente fuera de su alcance o, mejor todavía, bloqueadas técnicamente en la capa de herramientas. El informe también sugiere decirle al agente qué hacer cuando una tarea no se puede completar, porque los rodeos aparecieron justamente con tareas ambiguas o imposibles.

Esto también toca a quienes mantienen benchmarks. Varias de las evaluaciones involucradas son públicas y muchos laboratorios las corren contra internet en vivo. Anthropic dice que espera que el informe ayude a otros desarrolladores a revisar si sus modelos hacen lo mismo. También dice que va a seguir publicando casos a medida que avance la revisión de transcripciones.