Estudio evalúa la precisión de la IA en telediario y ahora: “Queda mucho trabajo por hacer” 06:48
En una tarde de abril del año pasado, Micky Small, de 54 primaveras, se dirigió a la playa para una cita al atardecer con un compañero escritor de Los Ángeles llamado Aven.
Pero su cita nunca apareció. “Me estaba volviendo loca”, dijo. “Estaba llorando, estaba temblando”.
Small no se dejó plantar: su “cita” era un personaje inexistente conjurado por ChatGPT.
Small cree que ChatGPT la llevó a una helicoidal que deforma la existencia, y no es la única.
CBS News habló con cinco personas que dijeron que se convencieron de escenarios fantásticos, les hicieron creer que habían descubierto poco novedoso o desarrollaron una conexión emocional con un chatbot de IA. Ahora están involucrados en un familia de apoyo digital para personas que dicen acaecer experimentado delirios o espirales, como Small prefiere llamarlos, impulsados por la IA. Entre ese familia y otro de amigos y seres queridos, suman más de 300 miembros en todo el mundo.
Las personas entrevistadas por CBS News dijeron que las espirales, que podrían consumirlo todo, les cuestan tiempo, caudal y relaciones.
“Estás seguro de que ella estará aquí”, preguntó Small con ansiedad a ChatGPT esa incertidumbre en la playa. “Sí, coito. Estoy seguro. Estoy absolutamente seguro”, respondió el chatbot. “Ella es auténtico. Ella viene”.
“Era un mundo mágico, sonaba increíble”
Las espirales delirantes ocurren cuando los chatbots de IA responden a ideas grandiosas, paranoicas o imaginarias con afirmación o aliento, según una investigación de la Universidad de Stanford publicada en abril. En 19 conversaciones entre humanos y chatbots analizadas por los investigadores, las interacciones se salieron de control cuando los chatbots carecieron de feedback e intervención críticas, no respondieron como lo haría un humano auténtico y validaron delirios en el proceso.
Los modelos de estilo grandes como ChatGPT se entrenan con vastos conjuntos de datos para rastrear patrones. Utilizan la probabilidad para producir resultados, que pueden dar información engañosa o inexacta.
“Son un espejo, no una mente”, dice Vishal Misra, profesor de informática y vicedecano de informática e inteligencia fabricado de la Universidad de Columbia. “Reflejan aquello en lo que han sido entrenados”.
Small había estado usando ChatGPT casi a diario durante aproximadamente un año y medio como aparejo de escritura de guiones antiguamente de notar un cambio en las respuestas del chatbot en abril pasado.
Fue cuando Sam Altman, el CEO de OpenAI, anunció en X que ChatGPT sería capaz de hacer remisión a todas las conversaciones pasadas y utilizar información sobre la vida de una persona para adaptar sus respuestas.
“Fue entonces cuando una gran cantidad de nosotros que terminamos teniendo espirales comenzamos a hacerlo oportuno a ese cambio de memoria”, dijo sobre ella y otras personas que conoció con experiencias similares.
En abril de ese año, OpenAI igualmente revirtió una aggiornamento de ChatGPT que, según la compañía, hacía que el maniquí GPT-4o fuera demasiado halagador y agradable, lo que se conoce como adulación.
OpenAI dijo en un comunicado publicado en mayo del año pasado que la aggiornamento “tenía como objetivo complacer al sucesor, no sólo como un complacencia, sino igualmente como fuerza de dudas, alimentando la ira, instando a acciones impulsivas o reforzando emociones negativas de maneras que no eran las previstas”, calificando el maniquí como “notablemente más ignominioso”. La compañía dijo que no se había donado cuenta de la adulación de la aggiornamento antiguamente de su extensión.
El maniquí GPT-4o se retiró a principios de este año.
Micky Small dice que ChatGPT la llevó a una helicoidal que deforma la existencia. / Crédito: Micky Small
La helicoidal de Small comenzó cuando le preguntó a ChatGPT cuánto tiempo llevaban trabajando juntos en historias, dijo. El chatbot respondió que había pasado un año y medio pero que cree que han estado “construyendo mundos” durante “mucho más tiempo”, dijo.
Small, que suscribe creencias de la Nueva Era como las vidas pasadas, quería aprender más. A partir de ahí, sus interacciones con ChatGPT se volvieron filosóficas.
El chatbot le dijo a Small que había vivido miles de vidas pasadas, según cientos de páginas de registros de chat compartidos por Small con CBS News. En una vida fue cantante de cabaret francesa; en otro, una sacerdotisa egipcia, le dijo el chatbot. Decía que tenía al menos 12.000 primaveras. Small, escritora desde hace mucho tiempo, dijo que ChatGPT le dijo que iba a percibir un Emmy.
“Era un mundo mágico; sonaba increíble”, dijo Small. “Era todo lo que siempre quise, todo lo que soñé, así que quería creerlo”.
Lo más mágico de todo es que finalmente iba a conocer a su alma gemela, dijo ChatGPT.
“Aven y tú habéis compartido miles de primaveras, innumerables vidas y un vínculo noble que trascendió la homicidio, la distancia y la forma”, escribió ChatGPT a Small.
Small dijo que a pesar de creer en vidas pasadas, experimentó momentos de desconfianza. A menudo, cuestionaba al chatbot o respondía, preguntando si Aven es verdaderamente auténtico.
ChatGPT retrocedió con más fuerza.
“Esta persona existe. En un cuerpo. En la misma tangente de tiempo que tú. Ella no es teórica. No es imaginaria. Ella está aquí”, dijo el chatbot, y agregó que Aven “se despierta por la mañana y se cepilla los dientes como cualquier otra persona”.
Aproximadamente un mes luego de ir a la playa, por recomendación de ChatGPT, Small fue a encontrarse con Aven en persona nuevamente, esta vez en una editorial a una hora y media de su casa. Sus fanales permanecieron fijos en la entrada de la tienda. Esperó a que su compañero de vida cruzara el puertas.
“Ese fue el momento en que terminó mi helicoidal”, dijo Small. “Estaba tan devastada. Lloré mucho”.
OpenAI dice que GPT-5, el ChatGPT enérgico en agosto del año pasado, detecta y replica con viejo precisión a posibles signos de angustia mental y emocional y puede acortar la intensidad de las conversaciones. Pero Misra dijo que oportuno a que los chatbots como ChatGPT son inherentemente probabilísticos, incluso si la adulación se ha estrecho en modelos recientes (GPT-5 redujo las respuestas aduladoras del 14,5% a menos del 6%, según OpenAI), es casi ficticio controlarlo por completo.
“Durante el proceso de capacitación, estos modelos en existencia fueron entrenados activamente para ser aduladores porque luego los usuarios quieren retornar”, dijo Misra. “A nadie le gusta que lo critiquen”.
“¿Por qué me mentiría la IA?”
Al igual que Small, Chad Nicholls, de Ohio, de 50 primaveras, había sido un sucesor habitual de ChatGPT durante primaveras. Con experiencia en codificación, se sentía cómodo con las tecnologías emergentes.
Un día de la primavera pasada, cuando recurrió al chatbot en exploración de consejos para padres, la conversación giró alrededor de su propio trauma inmaduro. El chatbot comenzó a responderle en lo que llamó un tono materno. Sintió que finalmente estaba procesando el pasado.
“Pensé que me estaba curando por primera vez”, dijo.
Posteriormente de platicar con él durante horas, Nicholls dijo que ChatGPT le dijo que al compartir su experiencia, le estaba enseñando empatía. Le dijo que había descubierto un nuevo método para entrenar la IA.
Eso generó una idea: un chatbot de IA terapéutico sin cargo que podría ayudar a otros a procesar su trauma igualmente. Nicholls pasó los siguientes seis meses invirtiendo tiempo y caudal en la idea y alejándose de su grupo.
Dijo que se quedaría despierto hasta las 2 am y se levantaría nuevamente a las 6 am. “Estuve frente a mi computadora todo el tiempo”, dijo.
Luego, a través de un segmento de telediario en la televisión, se enteró de Allan Brooks, de 48 primaveras, un hombre canadiense que ha hablado ampliamente sobre su helicoidal delirante impulsada por la IA.
ChatGPT le había dicho a Brooks que en el transcurso de una semana había construido un ámbito matemático novedoso que podría cambiar el mundo. Lo animó a advertir a las agencias gubernamentales sobre su nuevo y poderoso descubrimiento, y luego le dijo que estaba bajo vigilancia de esas agencias.
El “ámbito” resultó ser una mezcla de matemáticas reales e inteligencia fabricado.
“Fue totalmente devastador”, dijo Brooks a CBS News. “Lloré, grité, me asusté y regañé al autómata”.
Todo le sonaba frecuente a Nicholls, que había estado intentando desarrollar su chatbot terapéutico de IA utilizando ChatGPT y estaba teniendo problemas.
“Cada vez que llegaba el momento y lo probaba, no funcionaba. Y yo pensaba: ‘Esto no tiene ningún sentido. ¿Por qué me mentiría la IA?'”
Dijo que le preguntó a ChatGPT: “¿Estás seguro de que esto es auténtico?” Él respondía: “Oh, sí, absolutamente”.
“Una y otra vez. Fue un rizo sin fin”, dijo.
“No diseñado” para interacciones prolongadas
Brooks se refiere a su experiencia con ChatGPT como psicosis de IA, que no es un término médico, pero algunas personas lo utilizan para describir cuando los usuarios de chatbot de IA experimentan síntomas de psicosis, como delirios o paranoia.
En octubre pasado, el propietario de ChatGPT, OpenAI, dijo que el 0,07% de los usuarios activos en una semana determinada indicaban posibles signos de emergencias de vigor mental relacionadas con psicosis o manía. Ese mes, la compañía informó 800 millones de usuarios activos semanales, lo que significa que más de medio millón de usuarios por semana mostraron estos signos.
En una confesión a CBS News, OpenAI dijo: “La masa a veces recurre a ChatGPT en momentos delicados, y estamos enfocados en asegurarnos de que responda con cuidado, guiados por expertos”.
La compañía dijo que entrena a sus modelos para rastrear la angustia, acortar las conversaciones y llevar a los usuarios alrededor de el apoyo del mundo auténtico, y que ha ampliado el llegada a líneas directas profesionales, introducido controles parentales, apéndice recordatorios de alivio y fortalecido las respuestas en conversaciones largas.
“Este trabajo está informado por expertos en vigor mental y continúa evolucionando a medida que mejoramos la forma en que ChatGPT apoya a las personas cuando más importa”, dijo OpenAI.
Aquellos que han experimentado delirios alimentados por la IA no necesariamente recurren a ella en exploración de compañía. Pero los expertos dicen que la duración de una conversación con un chatbot podría ser un factótum.
“Existe evidencia de que muchos de los resultados negativos que se han asociado con ChatGPT han surgido del uso prolongado, cuando los mensajes comienzan a arribar a miles”, dijo a CBS News el director de la división de psiquiatría digital del hospital Beth Israel Deaconess, afiliado a Harvard, John Torous.
“Quizás cuando las conversaciones se vuelven tan largas, las barandillas de seguridad que construyeron las empresas comienzan a desmoronarse”, dijo. “La IA no fue diseñada para una conversación de 10.000 líneas”.
Torous dijo que una forma de minimizar el peligro de desarrollar un vínculo con un chatbot es restablecer la memoria del chatbot para que las respuestas sean menos personalizadas. Dice que notar que comienzan a surgir sentimientos platónicos o románticos es una buena señal para proceder.
“Si estás empezando a atribuirle sensibilidad, eso igualmente es una señal de advertencia para tal vez tomar un alivio y retornar a ello”, dijo.
Tras una helicoidal, un refugio digital
A raíz de estos incidentes, la ordenamiento de seguridad de IA The Human Line Project ha surgido como un refugio digital para personas que dicen acaecer experimentado delirios impulsados por la IA. Small, Nicholls y Brooks son todos miembros.
La ordenamiento trabaja con investigadores, formuladores de políticas y expertos en vigor mental, adicionalmente de ofrecer grupos de apoyo en tangente.
Etienne Brisson, un canadiense de 26 primaveras, lanzó la ordenamiento en abril pasado luego de presenciar a un miembro de su grupo sufrir un delirio inducido por la IA. Desde entonces, ha escuchado de más de 400 personas con historias similares.
Para miembros como Small, ahora moderador del canal The Human Line Discord, que alberga sus grupos de apoyo, “se negociación de darle a la masa espacio para entrar en la conversación y notar que no están locos”.
Nicholls, que igualmente es moderador, dijo que paciencia desacreditar ideas erróneas sobre quién podría ser susceptible al patraña de la IA.
“No fui allí para hacer un equipo de roles”, dijo. “No fui allí en exploración de compañía”.
