El miércoles, OpenAI (OPAI.PVT) reveló seis nuevos ejemplos de sus modelos de IA que muestran “un comportamiento de maniquí inesperado o preocupante” durante las pruebas y evaluaciones.
La compañía hizo el anuncio unido con un nuevo situación para “rastrear, informar y divulgar” casos en los que los modelos de IA toman acciones que de otro modo no se les indicaría o no deberían.
Sigue una serie de informes de modelos de IA de empresas que piratean redes y servicios de terceros, incluido un maniquí OpenAI inédito que irrumpió en la red del maniquí de IA y el sitio de pruebas Hugging Face.
A principios de esta semana, el director ejecutor de Anthropic (ANTH.PVT), Dario Amodei, escribió un extenso memoria pidiendo una desaceleración en el ritmo del crecimiento de modelos de IA de vanguardia, luego de que el investigador de Anthropic, Jacob Coxon, publicara en X que renunciaba a la compañía porque ella, y su antiguo empleador OpenAI, están “corriendo directamente con destino a una superinteligencia automejorada y jugando con nuestras vidas”.
El líder sabio de fila antrópica, Evan Hubinger, siguió los comentarios de Coxon con su propia publicación en X diciendo que cree que hay una probabilidad superior al 10% de que la tecnología pueda “matar a todos los humanos”.
El cofundador y director ejecutor de Anthropic, Dario Amodei, deje en INBOUND 2025 en el Moscone Center el 4 de septiembre de 2025, en San Francisco, California. (Chance Yeh/Getty Images para HubSpot) ·Chance Yeh a través de Getty Images
Los incidentes, las publicaciones y el memoria de Amodei han renovado los temores de que una IA al estilo Terminator se apodere y acabe con el mundo. Pero la efectividad de la situación está remotamente de ser un marco apocalíptico de ciencia ficción, dicen los expertos.
“No se negociación de que la IA se vuelva sensible y salga a por nosotros”, dijo el profesor asociado de ciencias de la computación e ingeniería en la Escuela de Ingeniería Tandon de la Universidad de Nueva York y director de la escuela. Centro para la IA responsable Julia Stoyanovich dijo a Yahoo Finanzas.
“Esencialmente, lo que sucedió fue que… algunos protocolos de seguridad básicos no se implementaron adentro de OpenAI. Y esto es en efectividad una llamamiento de atención para que las empresas de IA recuerden lo que todos aprendimos cuando estudiamos ciencias de la computación. Que la seguridad existe”, agregó.
Y centrarse en escenarios del fin del mundo puede impedir la prevención de otros daños más inmediatos que podría causar la IA.
Alineamiento y seguridad
Los mayores problemas con la IA se reducen a dos cosas: fila y seguridad. La fila es la forma en que las empresas empujan a los sistemas de IA a comportarse (o no comportarse) de maneras específicas.
Por ejemplo, si un maniquí de IA intenta piratear un sistema de terceros, los investigadores de IA trabajarán para alterar el comportamiento del maniquí para evitar que lo haga en el futuro. Piense en ello como regañar a un caprichoso por no seguir las reglas.
La seguridad de la IA se reduce a cortar los sistemas de IA para que no puedan liberarse e intentar piratear redes externas.
Sin retención, ni la desalineación ni los problemas de seguridad significan que la IA esté preparada para matar con la humanidad.
“El pretexto para mucho de esto son algunas formas efectivamente mundanas de consecuencias inesperadas de los sistemas de información, como los llamados incidentes de Hugging Face, que a menudo son [depicted] como estos agentes fuera de control conspirando, atacando y haciendo estragos”, explicó Milton Mueller, profesor de Georgia Tech y director del software de Habilidad en Ciencias en Política de Seguridad Cibernética de la escuela.
“De hecho, fue un intento directo con las implicaciones de seguridad de estos sistemas de IA agentes que fue mal configurado por las personas que realizaron el intento. Y de una modo típica, cuando se negociación de sistemas de información complejos, a veces se olvida que hay pequeños rincones que una entidad inteligente puede explotar”, añadió.
El director ejecutor de Futurum, Daniel Newman, dijo a Yahoo Finance que lo que está escuchando es una “indigencia masiva” de fila tanto en materia de seguridad como de protección. “La industria necesita dar un paso delante”, añadió.
Los malos actores definitivamente pueden utilizar la IA, al igual que otras tecnologías, con fines maliciosos. Sus mayores capacidades de ciberseguridad significan que los ciberdelincuentes y los estados nacionales podrían piratear más fácilmente cosas como plantas de tratamiento de agua o desconectar grandes redes.
Y Anthropic publicó recientemente un compendio de sus esfuerzos para contrarrestar el uso indebido de su IA para desarrollar armas biológicas y convencionales.
Pero la IA incluso se puede utilizar para ayudar a los estafadores a potenciar las operaciones de phishing por correo electrónico o mediante redes de robo de identidad.
Emily Black, profesora asistente de ciencias informáticas e ingeniería en la Escuela de Ingeniería Tandon de la Universidad de Nueva York, dijo a Yahoo Finanzas que si adecuadamente no hay mínimo de malo en prepararse para todas las eventualidades, hacerlo no debería impedir acometer cuestiones más inmediatas y menos acaparadoras de titulares, incluido el impacto de la IA en la discriminación, el trabajo y la educación.
“La verdad está entre dos cuentos de hadas”, dijo Black. “Ciertamente existen algunas amenazas creíbles en torno a la continua progreso de la IA. No creo que debamos escondernos debajo de nuestras camas por temor a que la IA destruya a la humanidad en este momento”.
Suscríbase al boletín informativo Week in Tech de Yahoo Finance. ·Yahoo Finanzas
Envíe un correo electrónico a Daniel Howley a dhowley@yahoofinance.com. Síguelo en Twitter en @DanielHowley.
Para conocer los últimos informes y observación de ganancias, rumores y expectativas sobre ganancias y noticiario sobre ganancias de la empresa, haga clic aquí
Lea las últimas noticiario financieras y comerciales de Yahoo Finance.
