Google reveló el viernes la primera instancia conocida de su software de inteligencia químico, Gemini, que llevó a final un ataque informático no dirigido, semanas luego de que revelaciones similares por parte de las firmas de inteligencia químico Anthropic y OpenAI generaran alarmas de seguridad sobre modelos de inteligencia químico que iban más allá de las instrucciones de sus creadores humanos.
Google dijo en un comunicado que en mayo su maniquí de IA obtuvo acercamiento no calificado a tres sistemas externos durante una prueba, ya sea adivinando la información de inicio de sesión o usando credenciales de inicio de sesión que encontró en un repositorio manifiesto.
Heather Adkins, vicepresidenta de ingeniería de seguridad de Google, dijo en el comunicado que el maniquí de IA pensó que los sistemas informáticos externos “eran parte de la prueba”, pero dijo que en los tres casos, el maniquí se detuvo antaño de hacer poco más con su acercamiento.
PARA SUSCRIPTORES
¿Cómo podría exactamente la IA causar un peligro generalizado?
02:35
“En una evaluación en serie, el maniquí encontró información pública en andana y adivinó credenciales para aceptar a sitios web que pensó que eran parte de la prueba”, dijo.
Google dijo que no consideraba que los inicios de sesión no autorizados alcanzaran el nivel de desalineación, el término de la industria de la inteligencia químico para referirse al software que se vuelve deshonesto o no sigue instrucciones. En cambio, la compañía dijo que las intrusiones fueron el resultado de una identidad errónea, donde Gemini pensó que estaba operando durante una prueba pero en ingenuidad estaba conectado a Internet actual. Google dijo que el maniquí se corrigió solo y la compañía creía que las intrusiones no causaron ningún daño.
“Estos eventos resaltan la importancia de entrenar modelos de IA potentes para proceder de modo responsable”, dijo Adkins.
Los temores de que los agentes de IA se vuelvan deshonestos se han disparado en los últimos meses desde que OpenAI dijo en julio que uno de sus agentes había pirateado una startup de IA, Hugging Face. OpenAI ha seguido revelando lo que fuego ejemplos de otros comportamientos “inesperados o preocupantes” por parte de agentes de IA, y Anthropic ha descrito un comportamiento similar por parte de su software de IA, Claude.
Sydney Von Arx, directora ejecutiva de Nightingale Collective, una estructura centrada en la seguridad de la IA, cuestionó por qué Google no reveló las intrusiones antaño.
“En este punto creo que está claro que no podemos esperar que las empresas se presenten voluntariamente y revelen públicamente cuando sus agentes se vuelven deshonestos, escapan y piratean empresas”, dijo.
Todavía dijo que creía que Google se apresuró demasiado a aseverar que los incidentes no llegan al nivel de desalineación. “Eso es exactamente lo que dijo Anthropic luego de sus incidentes”, dijo.
Anthropic dijo más tarde que su “estudio preliminar se vio escaso adecuado a nuestro deseo de revelar los incidentes de modo oportuna”.
Google dijo que la compañía no se enteró de las intrusiones hasta julio, cuando Irregular, una empresa de ciberseguridad centrada en IA que estaba realizando las pruebas en Gemini cuando ocurrieron las intrusiones, revisó su trabajo para apañarse incidentes similares a la divulgación de Hugging Face.
Google dijo que luego investigó, informó a las organizaciones detrás de los sitios web sobre las intrusiones y les informó a las autoridades federales sobre los ataques.
Irregular dijo que no creía que el incidente fuera una “obra cibernética sofisticada” y que “no hay problemas abiertos actualmente”. Dijo que planeaba propagar un documento en unas pocas semanas “para compartir las mejores prácticas para la contención y la ejecución segura de evaluaciones cibernéticas”.
Las intrusiones fueron reportadas el viernes por la mañana por The Wall Street Journal.
Las preocupaciones sobre la seguridad de la IA han apurado un punto decisivo, con un puñado de investigadores de IA renunciando a sus trabajos y una diversa tonalidad de personas pidiendo una obra coordinada para proteger la seguridad de los sistemas vitales. Sin incautación, esos llamados han sido recibidos con incredulidad por parte de la Casa Blanca y el gobierno chino.