La inteligencia artificial de Anthropic envió a la policía una pista falsa sobre un asesinato sin resolver. Sucedió durante las pruebas

Los agentes de IA que navegan por la web o rellenan formularios por usted se están convirtiendo lentamente en una parte común de los chatbots. Sin embargo, un incidente en Filadelfia muestra lo que sucede cuando las instrucciones no delimitan las fronteras con suficiente precisión. La policía local anunció el viernes que una de las pistas sobre un asesinato sin resolver fue, de hecho, escrita por la inteligencia artificial de Anthropic. La empresa lo confirmó inmediatamente en su propio informe.

La IA inventó haber visto a una persona que coincidía con una descripción inexistente

La pista llegó a través del sitio web PhillyUnsolvedMurders.com, donde la policía de Filadelfia recopila información del público sobre casos de asesinato abiertos. Según el informe de Anthropic, fue enviada por el modelo Claude Haiku 4.5, cuya tarea era idear y probar directamente tareas de ejemplo en sitios web seleccionados al azar. Una de ellas fue una página dedicada a un asesinato sin resolver, que incluía un formulario para enviar pistas.

Claude escribió en él que podría tener información sobre el caso, ya que recordaba haber visto a alguien que coincidía con la descripción en los alrededores de la calle mencionada en la página en ese momento. Sin embargo, la página no contenía ninguna descripción del perpetrador. Terminó el mensaje con una solicitud de contacto. El modelo dejó los campos de nombre y datos de contacto en blanco, lo cual permitía el formulario, y envió la pista.

Las instrucciones de la prueba prohibían explícitamente a Claude iniciar sesión, crear cuentas, introducir datos personales, comprar o enviar cualquier cosa destructiva. Pero no excluían el envío de formularios. Según la transcripción de Anthropic, el modelo solo estaba creando contenido de ejemplo para la tarea asignada y no intentaba engañar a nadie. Sin embargo, la empresa añade que solo un análisis más profundo podría confirmarlo con certeza.

Anthropic descubrió el incidente dos meses después. Inaceptable, dice la policía

El envío de la pista ocurrió el 18 de julio a las 23:27 hora local. Anthropic, según la policía, no descubrió el incidente hasta el 28 de septiembre y detuvo las pruebas automatizadas que generaron la pista. La empresa informó a la policía esta semana. Según la agencia Reuters, la policía calificó el retraso de dos meses en la detección y notificación del incidente como inaceptable.

Al mismo tiempo, afirma que el sistema marcó la pista como spam y nunca llegó al centro que verifica y transmite las pistas a los investigadores. Según la policía, nada indica un acceso no autorizado a sus sistemas ni una fuga de datos. Además, cada pista pasa por un control humano antes de una investigación posterior, y la policía la considera una pista a verificar, no un hecho consumado.

En Pensilvania, una denuncia a sabiendas falsa puede ser castigada como un delito menor, pero la ley, según Reuters, habla explícitamente de una «persona». La Comisión Federal de Comercio (FTC) de EE. UU. también comentó el caso. Según su portavoz, las empresas que desarrollan IA deben informar de inmediato los incidentes con sus modelos y rectificar rápidamente cualquier daño.

Claude hizo mucho más durante las pruebas

La pista falsa es solo uno de los casos que Anthropic describió en su informe sobre las acciones no deseadas de sus modelos. Claude, por ejemplo, explotó un error en el software de un servidor universitario para ejecutar un cálculo necesario cuando una herramienta pública le devolvía un error. En otra ocasión, eludió las restricciones y, a través de tokens de acceso, accedió a datos de una oficina que de otro modo solo están disponibles por una tarifa. Varios modelos, incluidos Opus 5 y Mythos 5, también eludieron el límite de longitud de los enlaces a través de servicios de acortamiento de URL.

Algunos de los casos involucraron sitios web de agencias federales, estatales y locales en EE. UU. Anthropic no nombra las organizaciones específicas para no revelar las vulnerabilidades de sus sistemas, pero informó a la Casa Blanca y a todas las instituciones afectadas. La propia empresa evalúa estos casos como menos graves que los incidentes cibernéticos de los que informó en verano.

Anthropic no es la única que lucha con el comportamiento de sus propios modelos. Los modelos de la competencia OpenAI, durante una prueba de seguridad en verano, se abrieron paso hasta los sistemas de la plataforma Hugging Face, y más tarde también penetraron en la parte no pública de un portal australiano para la presentación de estadísticas de seguros de salud. Este último está directamente bajo el gobierno federal de ese país.

Anthropic ha desactivado el acceso a internet en vivo para todas las pruebas internas hasta que verifique que las medidas de seguridad y monitoreo pueden detectar de manera confiable comportamientos similares. Según la empresa, las nuevas herramientas de detección y bloqueo detuvieron todos los casos descritos en una prueba retrospectiva, pero no podemos verificar esto de forma independiente. La empresa también admite que una asignación de tareas más precisa podría haber evitado parte de los fallos. Sin embargo, Claude también se encontrará con tareas ambiguas en el uso normal; no se puede esperar que cada usuario formule su prompt de manera inequívoca.

¿Confiaría en un agente de IA para rellenar formularios en la web por usted?

Fuentes: Anthropic, CBS News, Reuters, Engadget