Un grupo no autorizado accedió al modelo Claude Mythos, terriblemente capaz. Anthropic no lo lanzó debido a las amenazas de abuso.

La inteligencia artificial está literalmente cambiando el mundo en los últimos años. Sin embargo, con el desarrollo de modelos cada vez más capaces, también aumenta el riesgo de que alguien abuse de sus capacidades, por ejemplo, para el hacking o el desarrollo de armas. Precisamente por esta razón, la empresa Anthropic decidió no lanzar su último modelo Claude Mythos a los usuarios comunes – los creadores temen que los atacantes puedan usarlo para ataques cibernéticos innovadores. Sin embargo, ahora resulta que, a pesar de todo, el modelo terminó en manos de personas que no deberían haber tenido acceso a él.

Cómo el grupo accedió al modelo

La noticia sobre el acceso no autorizado a Mythos fue reportada por Bloomberg, según el cual «un puñado» de personas de un servidor privado de Discord, centrado en la búsqueda de información sobre modelos de IA no lanzados, accedieron al modelo. La paradoja es que el grupo supuestamente no necesitó ningún ataque sofisticado para la intrusión – al parecer, bastó con adivinar dónde se encontraba el modelo en internet.

El grupo dedujo la ubicación en línea del modelo a partir de las convenciones de nomenclatura anteriores que Anthropic utilizaba. Estas se filtraron en marzo de este año durante una filtración de datos en la startup de IA Mercor. Además, uno de los miembros del grupo supuestamente tenía acceso privilegiado como empleado de un tercero que trabaja como proveedor para Anthropic. Bloomberg describe el procedimiento posterior como métodos comúnmente utilizados por los investigadores de seguridad.

Anthropic confirmó que está investigando el caso. „Estamos investigando un informe de presunto acceso no autorizado al modelo Claude Mythos Preview a través del entorno de uno de nuestros proveedores externos,“ declaró la empresa en un comunicado oficial. Especialmente sorprendente es el hecho de que la intrusión ocurrió el mismo día en que Anthropic puso el modelo a disposición de socios seleccionados, como Apple o Goldman Sachs.

Qué es capaz de hacer Claude Mythos

Claude Mythos es una de las últimas incorporaciones a la familia de modelos Claude de la empresa estadounidense Anthropic, que compite con otros actores importantes como OpenAI o Google. Según sus creadores, es un modelo con capacidades extraordinarias en ciberseguridad y hacking, en las que supera incluso a especialistas humanos experimentados. Fue presentado a principios de abril e inmediatamente se convirtió en objeto de debate entre reguladores, banqueros y legisladores.

Anthropic afirma que Mythos es capaz de encontrar y explotar por sí mismo vulnerabilidades de día cero en todos los principales sistemas operativos y navegadores de internet. Durante las pruebas, el modelo reveló miles de errores graves, siendo el más antiguo de ellos un fallo oculto en el sistema durante la increíble cifra de 27 años, sin que nadie lo notara. Además, el British AI Security Institute (AISI) confirmó que Mythos fue el primer modelo en completar con éxito una simulación de ataque cibernético de 32 pasos – lográndolo en tres de diez intentos.

Por qué Anthropic no lanzó el modelo

Las capacidades de Claude Mythos son, según Anthropic, tan peligrosas que la empresa optó por un camino diferente en lugar de un lanzamiento público. Lanzó la iniciativa Project Glasswing, bajo la cual solo permitió el acceso al modelo a doce empresas tecnológicas seleccionadas. Entre los socios se encuentran grandes nombres como Amazon Web Services, Apple, Microsoft, Google, Nvidia, Broadcom, Cisco, CrowdStrike o Palo Alto Networks. La Linux Foundation también obtuvo acceso, y en total, según Anthropic, más de 40 organizaciones responsables de la infraestructura de software crítica tienen acceso al modelo.

El objetivo, según el director de Anthropic, Dario Amodei, es utilizar las capacidades del modelo para fortalecer las defensas contra los ataques cibernéticos, no dejarlas en manos de posibles atacantes.

Sin embargo, los reguladores también han expresado su preocupación por el modelo. El ministro de Finanzas canadiense, François-Philippe Champagne, lo calificó de „incógnita desconocida“ que merece la atención de todos los ministros de finanzas, y el gobernador del Banco de Inglaterra, Andrew Bailey, dijo a la BBC que el banco está siguiendo de cerca cómo el desarrollo actual de la IA puede influir en el riesgo de la ciberdelincuencia.

Los intrusos supuestamente solo están jugando con el modelo

A pesar de que se trata potencialmente de uno de los modelos de IA más peligrosos de la actualidad, parece que quienes obtuvieron acceso no autorizado a él no tienen intención de causar daño. Un miembro del grupo declaró a Bloomberg que no están utilizando Mythos para ningún propósito malicioso – en su lugar, por ejemplo, están construyendo sitios web sencillos con él. El grupo incluso le habría proporcionado una demostración en vivo y capturas de pantalla que prueban que realmente tienen acceso al modelo.

Sin embargo, el grupo también afirma tener acceso a otros modelos no lanzados de Anthropic, lo que, naturalmente, plantea preguntas sobre la seguridad de los sistemas internos de la empresa. La situación es especialmente paradójica en el caso de un modelo del que el propio Anthropic afirma que sus capacidades pueden transformar fundamentalmente la ciberseguridad tal como la conocemos.

Aunque afortunadamente en este caso no parece que la filtración haya llevado a un abuso, plantea serias dudas. Si un grupo de personas de Discord puede „simplemente por diversión“ manejar un modelo que se suponía que estaba tan cuidadosamente custodiado, la pregunta es qué podría lograr alguien con intenciones verdaderamente maliciosas. Y es precisamente contra este escenario que los expertos en ciberseguridad han estado advirtiendo desde la presentación de Mythos.

¿Debería Anthropic reconsiderar su enfoque para el desarrollo de modelos de IA tan potentes?

Fuentes: The Guardian, BBC, Mashable, Bloomberg