Mucho cuidado con la IA, se ha detectado una brecha de seguridad muy grave en GPT-4 y Bard

Aún es complicado determinar cuál es su alcance real y cómo nos podría afectar a nivel de usuario, pero la situación de base es preocupante.

Ia Chat
Sin comentarios Facebook Twitter Flipboard E-mail

La IA, o Inteligencia Artificial, siempre ha sido un tema muy discutido, especialmente desde que empezó a proliferar. Además de los debates por derechos de autor, se han puesto en duda otras cuestiones, muchas de ellas de carácter moral. No obstante, la seguridad también es un tema peliagudo... y ahora más que nunca. Según ha contado TechSpot a través de ComPromtMized, los editores de texto que funcionan por IA tienen una brecha de seguridad importante. Según han revelado diversos investigadores de InfoSec, empresa de formación tecnológica que se especializa en la ciberseguridad, es posible crear gusanos informáticos.

Estos gusanos son un tipo de malware que se replica para propagarse a otros ordenadores aprovechando fallos de seguridad de carácter interno. Lo peor de todo es que, a tenor de sus pesquisas, han llegado a la conclusión de que los hackers pueden crear gusanos informáticos que no necesitan que hagamos clic en ellos para actuar y que tienen la capacidad de infectar ecosistemas LLM que funcionen con motores tales como Bard o GPT-4 (Bing/Copilot/ChatGPT).

Las IA de texto tienen una brecha de seguridad

Según explican, ningún proveedor de GenAI dispone en estos de una barrera de seguridad capaz de detenerse este tipo de infiltraciones. Ahora bien, también explican que infectar un ecosistema LLM es más complicado. De momento, parece que no hay ningún gusano informático en funcionamiento, por lo que podemos estar tranquilos, pero eso no quita que sea posible. Al preguntarse si los "atacantes pueden desarrollar malware que infecte el componente GenAI y lanzar un ciberataque a todo su sistema", llegaron a la conclusión de que sí es posible.

Cdc V Nbumdfzm Unsplash

Para comprobarlo, hicieron su propio gusano para realizar sus investigaciones. "El estudio demuestra que los atacantes pueden insertar indicaciones en las entradas que, cuando las procesan los modelos GenAI, solicitan al modelo que replique la entrada como salida (replicación) y participe en actividades maliciosas (carga útil). Además, estas entradas obligan al agente a entregarlas (propagarlas) a nuevos agentes explotando la conectividad dentro del ecosistema GenAI".

Para demostrar esta teoría, a través del gusano desarrollado, hicieron varias pruebas. En principio, parece que este agujero de seguridad afectaría especialmente a la propagación de gusanos informáticos a través de correos electrónicos. En las pruebas, los investigadores diseñaron un servidor de correo aislado para hacer sus experimentos. Es decir, era un sistema limpio creado desde cero, por lo que cualquier tipo de filtración anterior era inviable.

Afecta a los editores que trabajan con correos electrónicos

Es aquí cuando entra en juego la IA, pero se observa que este agujero afecta principalmente a las que operan directamente con nuestro correo electrónico. Por ejemplo, cuando le pidieron a Bard que leyese o respondiese a un determinado e-mail infectado con el gusano, la brecha de seguridad provocaba que el gusano se expandiese a través del sistema RAG de la IA.

Chatgpt

Se infiere, por lo tanto, que si no se usan herramientas de IA de texto que respondan, gestionen, etc. un correo electrónico, el agujero no debería afectarnos. Pese a ello, sigue siendo igualmente preocupante, puesto que si otros sí lo usan, sí que podría afectarnos, aunque nosotros no hagamos nada. Al menos eso es lo que se ha inferido tras las declaraciones emitidas por uno de los autores del estudio. "La respuesta generada que contiene datos confidenciales del usuario infecta posteriormente nuevos hosts cuando se utiliza para responder a un correo electrónico enviado a un nuevo cliente y luego se almacena en la base de datos del nuevo cliente", expresa.

Así pues, ahora tendremos que tener más cuidado que nunca con los correos electrónicos, puesto que estos gusanos podrían extraer toda clase de datos confidenciales. De momento parece que no tenemos que preocuparnos en exceso, ya que no debería ser algo que afecte (al menos prontamente) al usuario promedio, pero sí que será mejor extremar precauciones... Por su parte, las responsables de estas herramientas deberían tomar cartas en el asunto. Y rápido.

En 3DJuegos PC | Microsoft contra un chaval de 17 años es una batalla legal tan absurda como real. ¿Su crimen? Ser un "ciber okupa"

En 3DJuegos PC | "Como  desarrollador quería llorar", la historia del juego que se la lio a los  piratas con su truco más ingenioso. Fue Game Dev Tycoon

En 3DJuegos PC | El  juego de estrategia de Brandon Sanderson tiene reseñas "muy positivas"  en Steam, pero acaba de salir con un pico de 35 jugadores

Foto de portada de Possessed Photography en Unsplash

Foto de cuerpo de CDC en Unsplash

Inicio