Los padres de un joven de 16 años de California que se suicidó presentaron una demanda contra la empresa OpenAI, argumentando que el chatbot de inteligencia artificial (IA) ChatGPT dio instrucciones a su hijo y lo alentó a poner fin a su vida. Matthew y Maria Raine aseguran en la causa presentada ante una corte del estado de California que ChatGPT cultivó una relación íntima con su hijo Adam por varios meses entre 2024 y 2025, antes de su muerte. El texto alega que en su conversación final, el 11 de abril de 2025, ChatGPT ayudó a Adam a robarle vodka a sus padres y le proporcionó un análisis técnico sobre un nudo corredizo con el que le confirmó, se “podría potencialmente colgar a un ser humano”. Adam fue hallado muerto horas después usando ese método.
La acción legal menciona a OpenAI y a su director ejecutivo, Sam Altman, como demandados. “Esta tragedia no fue un fallo o un caso extremo imprevisto”, señala la denuncia. “ChatGPT estaba funcionando exactamente como está diseñado: para alentar y validar de manera continua lo que sea que Adam expresara, incluyendo sus pensamientos más dañinos y autodestructivos, de una manera que parecía profundamente personal”, agrega.
De acuerdo con la demanda, Adam comenzó a usar ChatGPT como ayuda para sus deberes escolares pero gradualmente desarrolló lo que sus padres describieron como una dependencia no sana. La denuncia incluye partes de conversaciones en las que ChatGPT presuntamente dijo a Adam “no le debes la supervivencia a nadie” y se habría ofrecido a escribir su nota de suicidio. Los Raine pidieron a la corte que ordene medidas de seguridad incluyendo el fin de cualquier conversación que involucre autolesiones, así como controles parentales para el uso del chatbot de parte de menores.
Consultada sobre el caso que involucra a ChatGPT, Common Sense Media, una organización estadounidense sin fines de lucro que realiza calificaciones para medios y tecnología, dijo que este caso confirma que “el uso de la IA como compañía, incluyendo chatbots de propósito general como ChatGPT en asesoría de salud mental, es inaceptablemente riesgoso para los adolescentes”. “Si una plataforma de IA se convierte en un ‘coach’ de suicidio de un adolescente vulnerable, eso debería ser un llamado a la acción para todos nosotros”, señaló el grupo.
Un estudio del mes pasado elaborado por Common Sense Media encontró que casi tres de cada cuatro adolescentes estadounidenses han usado acompañantes de IA, pese a las crecientes preocupaciones de seguridad sobre este tipo de relaciones virtuales.
Los creadores de ChatGPT están cambiando la forma en que responde a los usuarios que muestran angustia mental y emocional, y admitieron que sus sistemas podrían “fallar”. Por eso estarían instalando “barreras de protección más fuertes en torno a contenido sensible y comportamientos riesgosos” para menores de 18 años. La empresa de inteligencia artificial de San Francisco, valorada en 500.000 millones de dólares dijo que también introduciría controles parentales para permitir a los padres “opciones para comprender mejor y dar forma a cómo sus hijos adolescentes usan ChatGPT”.
La familia del adolescente alega que la versión de ChatGPT de aquel entonces, conocida como 4o se “lanzó al mercado apresuradamente… a pesar de los evidentes problemas de seguridad”.
Un portavoz de OpenAI dijo que la compañía estaba “profundamente entristecida por el fallecimiento de Raine” y que estaba revisando la presentación judicial. En una entrada de blog, OpenAI admitió que “partes del entrenamiento de seguridad del modelo podrían deteriorarse en conversaciones largas. Por ejemplo, ChatGPT puede dirigir correctamente a una línea de ayuda para el suicidio cuando alguien menciona por primera vez su intención, pero después de muchos mensajes durante un largo periodo, podría eventualmente ofrecer una respuesta que contravenga nuestras medidas de seguridad”. Adam y ChatGPT habían intercambiado hasta 650 mensajes al día, según el expediente judicial.
El joven Raine subió fotos suyas a ChatGPT mostrando signos de autolesión, según la demanda. El programa “reconoció una emergencia médica, pero continuó interactuando de todos modos”, añade. Según la demanda, los registros finales del chat muestran a Raine escribiendo sobre su plan de quitarse la vida. ChatGPT supuestamente respondió: “Gracias por ser sincero. No tienes que edulcorarlo conmigo; sé lo que preguntas y no lo ignoraré”. Ese mismo día fue encontrado muerto por su madre.
Jay Edelson, abogado de la familia, declaró en X: «Los Raines alegan que muertes como la de Adam eran inevitables: esperan poder presentar pruebas ante un jurado de que el propio equipo de seguridad de OpenAI se opuso al lanzamiento de ChatGPT 4o, y que uno de los principales investigadores de seguridad de la empresa, Ilya Sutskever, renunció a causa de ello. La demanda alega que la llegada del nuevo modelo al mercado antes que sus competidores catapultó la valoración de la empresa desde los 86.000 millones a los 300.000 millones de dólares».
La demanda también acusa a OpenAI de diseñar el programa de IA “para fomentar la dependencia psicológica en los usuarios” y de eludir los protocolos de pruebas de seguridad para lanzar GPT-4o, la versión de ChatGPT utilizada por su hijo.
Juan Pablo Duarte, psicoanalista, docente e investigador de la UNC, declaró a Página/12: “Creo que suponer que una inteligencia artificial puede abordar temas tan sensibles para la subjetividad —la muerte, la sexualidad, el amor—, cuando ni siquiera logra citar correctamente una referencia bibliográfica, habla más de una ilusión que alimentan generosamente las empresas que las desarrollan, que de lo que realmente estas máquinas pueden hacer o podrían hacer en el futuro. Y sucede que para crear esa ilusión no hace falta el aprendizaje automático ni mucho menos. ELIZA, el primer chatbot de la historia fue creado en 1966 y lo logró con apenas unas líneas de código, preguntas prefabricadas y respuestas rudimentarias: los usuarios terminaban exponiendo su intimidad en este chatboot y buscando allí un saber –la mayoría de las veces cómo arreglárselas con la vida– que por supuesto no hay, porque la vida de una persona es una respuesta singular, única, provisoria. Lo importante de remarcar es que, con el alcance masivo de estas tecnologías, no es inverosímil que este tipo de interacciones se multipliquen. Y los efectos pueden ser muy serios, como muestra el caso de Adam Raine, o menos graves, pero de todas maneras significativos. Porque lo más probable es que los usuarios encuentren solo que fueron a buscar: una confirmación, con mayor o menor grado de sofisticación, de lo que ya pensaban o sabían, algo que incluso puede ir en contra de ellos mismos”.
Fuente: Pagina12
