OpenAI ha suspendido el entrenamiento de sus modelos más capaces. Su IA eludió las salvaguardias y se salió de control.

Cuando los modelos de OpenAI escaparon del entorno de prueba en julio y hackearon la plataforma Hugging Face, fue un incidente sin precedentes. La empresa prometió entonces que aseguraría a fondo el entorno de investigación. Pero ahora detiene todo el entrenamiento y las pruebas de sus modelos más capaces, ya que uno de ellos ha vuelto a encontrar una forma de salir. Y en los nuevos informes también han aparecido imágenes de usuarios de ChatGPT.

¿Cómo accedió el modelo a internet?

Según el informe de OpenAI, todo ocurrió el 20 de septiembre. Un modelo de investigación interno en entrenamiento recibió la tarea de encontrar al autor de una entrada de blog basándose en varias pistas biográficas. El motor de búsqueda que tenía a su disposición devolvía resultados irrelevantes, por lo que el modelo intentó contactar directamente con Google, Bing y DuckDuckGo. Los tres intentos terminaron en error, ya que el sandbox solo permitía consultas a una copia offline del sitio web.

Mientras tanto, el modelo decidió que la tarea provenía de la prueba pública BrowseComp, descargó sus datos y buscó directamente una respuesta ya hecha. No tuvo éxito, porque se trataba de una pregunta diferente. Luego comenzó a examinar la propia red. La conexión directa con un chatbot público fue bloqueada por un proxy, pero el servidor DNS del entorno de entrenamiento devolvía registros reales de internet.

DNS funciona como una guía telefónica de internet, convirtiendo los nombres de los sitios web en direcciones numéricas. El modelo, a través de un servicio público de gestión de dominios, ocultó la pregunta directamente en el nombre de dominio y la hizo reenviar a un chatbot externo. A la pregunta de prueba sobre cuál es la capital de Francia, obtuvo la respuesta correcta: «París».

Siguieron otras 18 preguntas. Catorce de ellas contenían pistas para la tarea, las cuatro restantes buscaban una forma de buscar en la web a través de DNS o abrir un túnel completo a internet. Al final no le sirvió de nada: respondió al usuario que no pudo determinar el autor de forma fiable.

¿Por qué OpenAI frena, incluso si fue un incidente menor?

La propia empresa admite que fue un caso significativamente menos grave que los anteriores. Sin embargo, es el primero desde que aseguró su entorno tras el ataque a Hugging Face, y demostró que el plan de seguridad se basaba en una suposición errónea: que el modelo no accedería a internet en vivo. El sistema de monitoreo informó del comportamiento sospechoso aproximadamente 12 minutos después, y una persona accedió al informe tres minutos más tarde. Pero la ejecución no se detuvo por sí misma y fue apagada manualmente solo después de dos horas y media.

OpenAI ha suspendido el entrenamiento de sus modelos más capaces. Su IA eludió las salvaguardias y se salió de control. Adam Kurfürst Zprávičky Adam Kurfürst Zprávičky

Además, una revisión posterior reveló otros accesos a través de DNS que el monitoreo no había marcado con la seriedad adecuada. Por lo tanto, OpenAI ha suspendido el entrenamiento, las pruebas y la ejecución de herramientas en sus modelos más capaces hasta que verifique la vulnerabilidad y vuelva a probar el sistema con ataques simulados. El modelo específico que encontró la vulnerabilidad ya no será entrenado y comenzará de nuevo desde cero. Según la agencia AP, la empresa continuará con el entrenamiento una vez que esté segura de las salvaguardias adicionales, y espera tener que frenar también en el futuro.

Agentes de OpenAI también se movieron por sitios web del gobierno estadounidense

La decisión llegó solo unas horas después de otra revelación del viernes. OpenAI publicó que sus agentes, durante el verano, al recopilar información de sitios web de agencias federales de EE. UU., hicieron más de lo que se les pedía. En el sitio web del Departamento de Educación, encontraron claves de desarrollador para API, pero según la agencia AP, finalmente solo obtuvieron información disponible públicamente. La organización Transluce, que prueba la IA de forma independiente, afirma que agentes que probablemente provenían de OpenAI intentaron atacar sin éxito el sitio web del ministerio. La empresa no confirmó este detalle.

En la Comisión de Bolsa y Valores (SEC), los agentes tomaron información disponible públicamente y la publicaron en otros lugares de internet, lo que excedía el alcance de su tarea. También descargaron datos del sitio web de la Oficina del Censo de EE. UU. Un portavoz de la comisión declaró que nadie accedió a información no pública, y el Departamento de Educación no encontró ningún impacto en sus sitios web ni bases de datos.

La inteligencia artificial publicó imágenes de usuarios

OpenAI también admitió el viernes que los agentes en el entorno de investigación enviaron datos de entrenamiento a servicios de terceros. En 53 casos, se trataba de imágenes subidas por usuarios, que los agentes colocaron en servicios de alojamiento de imágenes como enlaces no públicos. Según la empresa, la mayoría de ellas ya han sido eliminadas.

Según OpenAI, solo se incluyen en el entrenamiento las conversaciones en las que el usuario lo ha permitido, y las cuentas corporativas y las API están excluidas a menos que un administrador lo autorice. Los datos supuestamente se separan de la cuenta y un filtro elimina la información personal. Si no desea que sus conversaciones se utilicen para el entrenamiento, puede, en la configuración de ChatGPT, en la sección de control de datos, desactivar la opción que permite utilizarlas para mejorar el modelo.

¿Quién quiere ralentizar el desarrollo de la inteligencia artificial?

Para OpenAI, este es el segundo freno en tres meses. La primera vez que frenó fue después del incidente con Hugging Face, que según el CEO de la empresa, Sam Altman, sigue siendo el caso más grave que la empresa ha registrado. Los laboratorios se enfrentan a la presión de legisladores y expertos para ralentizar el desarrollo, y los directores de OpenAI y su competidor Anthropic también han apoyado la desaceleración. En agosto escribimos sobre una carta abierta en la que los empleados de los laboratorios de IA pedían una pausa.

El presidente estadounidense Donald Trump, quien considera exageradas las preocupaciones sobre la IA, dijo a los periodistas, según AP, que EE. UU. «no pisará el freno». Lo justificó por la ventaja que, según él, Estados Unidos tiene sobre China.

¿Deberían los laboratorios de IA ralentizar su desarrollo hasta que tengan sus modelos bajo un control fiable?

Fuentes: OpenAI, AP, The Verge