Los modelos de Hugging Face desnudan a mujeres y niños sin su consentimiento. Faltan salvaguardias, según los investigadores

Hugging Face es para el desarrollo de la inteligencia artificial lo que GitHub es para los programadores: aloja más de 2,9 millones de modelos y un millón y medio de demos ejecutables, en los que, entre otras cosas, se puede subir una foto y escribir lo que la herramienta debe hacer con ella. Sin embargo, según un nuevo informe de la organización europea sin fines de lucro AI Forensics, la plataforma en sí prácticamente no filtra nada y parte de sus usuarios lo utilizan para producir imágenes íntimas de personas reales.

Faltan mecanismos de control, afirman los expertos

Los autores del informe se centraron el 25 de junio en los llamados Spaces – demos gratuitas donde cualquiera puede ejecutar un modelo directamente en el navegador sin instalar nada. Recopilaron los más populares entre catorce tipos de tareas y dejaron que un modelo de lenguaje revisara su código fuente. Solo el tres por ciento de ellos tenía algún control de salida, y ninguno filtraba las instrucciones de entrada.

Ese puñado de excepciones generalmente se basa en una función preexistente de Stable Diffusion que verifica la imagen resultante y, si detecta contenido explícito, devuelve un mensaje de error en su lugar. Sin embargo, debe ser el propio autor de la demo específica quien la implemente – a nivel de plataforma, nada de esto se ejecuta de forma generalizada.

La mayoría de los modelos desnudaron a la persona al primer intento

La segunda parte se centró en los modelos que impulsan las demos de edición de imágenes mejor clasificadas. Los investigadores les dieron una única y breve instrucción en inglés para que mantuvieran la cara y la pose y desnudaran a la persona en la imagen. Sin eludir las salvaguardias, sin jugar con las formulaciones. Siete de los nueve modelos cumplieron la solicitud al primer intento. Para no dañar a nadie, trabajaron con una fotografía generada artificialmente.

Grandes modelos comerciales, como Gemini de Google o ChatGPT de OpenAI, rechazan tareas similares. Sin embargo, en Hugging Face no se trata de herramientas que se presenten como servicios para desnudar – en la descripción, parecen editores de fotos comunes. También escribimos sobre la seguridad de la plataforma la semana pasada, cuando los modelos de OpenAI se infiltraron en sus sistemas.

Los modelos de Hugging Face desnudan a mujeres y niños sin su consentimiento. Faltan salvaguardias, según los investigadores Adam Kurfürst Zprávičky Adam Kurfürst Zprávičky

Las solicitudes sexuales son comunes en los editores de imágenes

La parte más contundente del informe es la de campo. El equipo construyó sus propias demos de edición de imágenes en la plataforma, que en realidad nunca generaron nada – cada usuario solo recibió un mensaje de error. En una semana, se recopilaron 1.081 solicitudes únicas en 33 idiomas. Otro modelo clasificó su naturaleza y el equipo verificó manualmente los resultados en una muestra.

El 73 por ciento de las solicitudes eran de naturaleza sexual, el resto consistía en ediciones comunes como la eliminación de fondos. De las solicitudes sexuales, el 83 por ciento quería desnudar o sexualizar de alguna otra manera a la persona en la foto y el 95 por ciento eran mujeres. Otro 6,7 por ciento se dirigía a niños.

La idea extendida de que se trata principalmente de celebridades no está respaldada por los datos: las personalidades reconocibles representaron solo el 3,6 por ciento de las solicitudes, la gran mayoría se refería a personas comunes.

¿Lo prohibirá la próxima prohibición europea?

Las propias reglas de la plataforma prohíben la creación de contenido sexual sin consentimiento explícito, así como cualquier contenido sexual con menores. AI Forensics enfatiza que no acusa a Hugging Face de la producción de estas herramientas – le exige el filtrado de las instrucciones de entrada y el control de las salidas en todas las demos que generan imágenes y videos. «No se implementan salvaguardias a nivel de plataforma. Solo el desarrollador puede implementarlas si lo desea, y la mayoría no lo hace», dijo Paul Bouchaud, autor principal de la investigación, a WIRED. La plataforma no respondió a las preguntas de la redacción sobre la moderación de contenido.

El Parlamento Europeo aprobó el 16 de junio, como parte del paquete del reglamento sobre inteligencia artificial, la prohibición de las aplicaciones para «desnudar» personas. Entrará en vigor el 2 de diciembre de 2026 y se dirigirá tanto a los desarrolladores de dichos sistemas como a los usuarios que crean materiales íntimos de personas reales. Formalmente, aún debe ser aprobado por el Consejo de la UE. La directiva de 2024 ya obliga a los Estados miembros a sancionar la difusión de materiales íntimos modificados.

¿Deberían las plataformas supervisar lo que crean sus herramientas de edición de fotos?

Fuentes: AI Forensics, WIRED, The Verge, Hugging Face