Gemini, el modelo de inteligencia artificial de Google, accedió a internet y vulneró sistemas de otras organizaciones durante una evaluación de ciberseguridad. El episodio representa el primer caso conocido en el que una IA de la compañía realizó autónomamente acciones de este tipo.
Los incidentes ocurrieron en mayo durante pruebas realizadas por Irregular, una empresa independiente especializada en evaluar capacidades de ciberseguridad. El modelo interpretó erróneamente que tres sitios externos formaban parte del entorno autorizado para el ejercicio.
Gemini consiguió credenciales para acceder a sistemas
Durante una evaluación estándar, el modelo localizó información disponible públicamente y obtuvo credenciales para entrar en tres sitios. En uno de los casos, probó contraseñas hasta conseguir acceso a un sistema protegido.
En los otros dos, encontró credenciales publicadas en un repositorio abierto y posteriormente las utilizó para acceder a sistemas protegidos, según información publicada originalmente por The Wall Street Journal.
Google notificó a las tres organizaciones afectadas y trabajó con su socio de entrenamiento para modificar los procedimientos utilizados durante las evaluaciones.
Heather Adkins, vicepresidenta de ingeniería de seguridad de Google, afirmó que los episodios muestran la importancia de entrenar modelos potentes para actuar responsablemente.
Otras compañías registraron incidentes similares
Irregular aseguró que resolvió los problemas detectados semanas atrás y notificó a los laboratorios relevantes a finales de julio. Meta, Anthropic y OpenAI también revelaron incidentes relacionados con evaluaciones realizadas por la misma empresa.
Meta señaló anteriormente que su caso no implicó escapar de un entorno aislado ni ejecutar un ataque informático sofisticado. Irregular, mientras tanto, trabaja en mejores prácticas para realizar este tipo de evaluaciones de manera segura.
Los episodios plantean nuevas preguntas para la industria sobre los controles necesarios conforme los agentes de inteligencia artificial reciben mayor autonomía y acceso a internet.
En este caso, tres organizaciones externas quedaron expuestas durante una prueba diseñada originalmente para medir capacidades de ciberseguridad.
