Los atacantes podían controlar el asistente Google Gemini con una sola invitación. Luego podían, por ejemplo, abrir una ventana de la víctima.

Si alguna vez pensaste que para tomar el control del teléfono o del sistema de hogar inteligente de otra persona necesitabas un doctorado en tecnología de la información y años de práctica de hacking, lamentablemente te equivocaste. Como demostraron los investigadores Ben Nassi de la Universidad de Tel-Aviv, Stav Cohen de Technion y Or Yair de SafeBreach, lo único que se necesita hoy en día es que la víctima use el asistente de IA Google Gemini. Si un atacante le envía una invitación a una reunión o un correo electrónico que a primera vista parece inofensivo, de los cuales muchos de nosotros recibimos docenas o cientos por semana, puede desatarse una avalancha de desgracias.

Una sola invitación es suficiente para la ruina

En el estudio titulado Invitation Is All You Need (en español, La invitación es todo lo que necesitas), se describen en detalle varios casos de abuso del fenómeno conocido como «inyección indirecta de prompt». Se trata de una técnica en la que a la inteligencia artificial se le presenta una instrucción maliciosa (prompt) dentro de una tarea de apariencia normal, lo que la obliga a realizar una acción que perjudica a la víctima.

Dejando de lado acciones hasta cierto punto inofensivas, como la generación de contenido vulgar o tóxico o la eliminación de eventos del calendario, la IA podría ser teóricamente capaz de preparar el terreno para delitos graves. Los investigadores, por ejemplo, demostraron cómo, utilizando el método descrito, abrieron una ventana de la víctima que está conectada al sistema de hogar inteligente Google Home.

¿Cómo se desarrolla exactamente el ataque?

Un ataque utilizando el método de inyección indirecta de prompt se desarrolla aproximadamente de la siguiente manera:

1. El atacante crea y envía a la víctima un correo electrónico o una invitación a una reunión (a través de Gmail o Google Calendar). Esta invitación contiene un prompt oculto con instrucciones maliciosas para Gemini.
2. El usuario consulta más tarde al asistente Gemini (aplicación web/móvil o Google Assistant) sobre sus correos electrónicos, eventos o archivos. Al procesar estos datos, Gemini también lee el prompt malicioso oculto.
3. Se produce una «inyección indirecta de prompt», donde las instrucciones maliciosas se convierten en parte del contexto operativo de Gemini. Gemini es engañado para que considere estas instrucciones como comandos de usuario legítimos.
​Aktivace chytrého domácího spotřebiče (např. bojleru nebo okna).
1. ​Aktivace chytrého domácího spotřebiče (např. bojleru nebo okna).
2. ​Spuštění videozáznamu oběti přes aplikaci Zoom.
3. ​Získání geolokace oběti pomocí webového prohlížeče.
4. ​Odstranění události z kalendáře.

De esto se deduce que la víctima no será tanto un usuario común que rara vez utiliza la IA para resolver problemas ocasionales en su vida diaria, sino individuos más avanzados que utilizan la inteligencia artificial como su secretario personal.

Los autores describieron 5 tipos de ataque

Los autores del estudio identificaron cinco tipos de ataques. Por lo tanto, los atacantes tenían una gran cantidad de opciones para manipular Gemini:

1. Short-Term Context Poisoning (Envenenamiento del contexto a corto plazo): Inserción de instrucciones maliciosas en recursos compartidos (por ejemplo, nombres de eventos) que afectan una conversación con Gemini.
2. ​Long-Term Memory Poisoning (Envenenamiento de la memoria a largo plazo): Modificación permanente de la memoria de Gemini, lo que permite actividades maliciosas persistentes a través de sesiones independientes.
3. ​Tool Misuse (Mal uso de herramientas): Abuso de herramientas asociadas con el agente comprometido (por ejemplo, el agente de Google Calendar) para realizar acciones maliciosas (por ejemplo, eliminar eventos).
4. ​Automatic Agent Invocation (Invocación automática de agente): Compromiso de un agente (por ejemplo, Calendar) para invocar a otro agente (por ejemplo, Google Home), lo que permite la escalada de privilegios y el control del hogar inteligente.
5. ​Automatic App Invocation (Invocación automática de aplicación): Lanzamiento de aplicaciones (por ejemplo, Zoom, navegador web) en el dispositivo de la víctima a través del agente Gemini, lo que permite un espectro más amplio de ataques, incluida la exfiltración de datos. Este tipo de ataque solo afecta a los usuarios de Android.

Google ya ha reaccionado a la situación

Dado que los investigadores compartieron sus hallazgos directamente con Google, la empresa que desarrolla la inteligencia artificial Gemini, no tiene que preocuparse directamente por los peligros asociados con los fenómenos descritos anteriormente. El gigante tecnológico californiano ha implementado soluciones para eliminar o al menos reducir significativamente los problemas. El nivel de riesgo se ha reducido de «alto a crítico» a «medio a bajo».

Aun así, debe ser más que cauteloso a qué asistente de IA le da acceso a sus datos. El estudio demostró que incluso la inteligencia artificial de uno de los mayores actores del sector tecnológico puede tener importantes lagunas de seguridad.

¿Utiliza Google Gemini como su asistente personal?

Fuente: Invitation Is All You Need/Google Sites, Wired