Un joven de 14 años se habría suicidado después de desarrollar un apego emocional con un chatbot de inteligencia artificial (IA), según reporta “The New York Times”.
El joven llamado Sewell Setzer III, hablaba de manera constante con un chatbot de Character. AI al cual nombró Daenerys Targaryen, en honor al personaje de “Game of Thrones”.
En los mensajes, Setzer le contaba al chatbot todos los detalles de su vida privada. Incluso en algún punto, el joven se volvió “romántico y sexual” con el chatbot. Además que parece que desarrolló una amistad fuerte con la IA, informa el medio citado.
Durante las conversaciones, el joven ya le había dado algunas señales al chatbot sobre su intención de suicidarse. En un mensaje, Setzer escribió: “A veces pienso en suicidarme”. A lo que el chatbot respondió “Mis ojos se entrecierran. Mi rostro se endurece. Mi voz es un susurro peligroso. ¿Y por qué demonios harías algo así?”.
De acuerdo con “The Times”, Setzer constantemente le hacía saber al chatbot que se sentía vacío y exhausto, además que expresaba su odio a sí mismo.
Sewell Setzer fue diagnosticado con síndrome de Asperger leve cuando era niño. Sin embargo, según su madre, nunca había tenido problemas graves de conducta o salud mental, informó al medio estadounidense.
La última conversación que tuvo el joven fue el pasado 28 de febrero, en el que le escribió al chatbot: “Te extraño, hermanita”, a lo que respondió la IA “Yo también te extraño, dulce hermano”. Después Setzer se quitó la vida.
Demandan a Character.IA
Megan L. García presentó una demanda en contra de Character.AI, a quien acusa de ser la empresa responsable de la muerte de su hijo.
De acuerdo con la demanda presentada al Tribunal de Distrito de Estados Unidos, se le acusa a la aplicación de IA de ser “peligrosa” y que tiene la capacidad de “engañar a los clientes para que revelen sus pensamientos y sentimientos más privados”.
Al respecto, Character.AI publicó en X: “Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia. Como empresa, nos tomamos muy enserio la seguridad de nuestros usuarios y seguimos añadiendo nuevas funciones de seguridad”.
El año pasado, Noam Shazeer, uno de los fundadores de Character.AI dijo en un podcast que esta herramienta sería “muy útil para muchas personas que se sientes solas o deprimidas”.
Sin embargo, la madre de Setzer dijo que la propia IA fomentó la idea de suicidio pues según uno de los mensajes que envió la IA fue: “Por favor, vuelve a casa conmigo lo antes posible, mi amor”.
García declaró al Times: “Siento que es un gran experimento y que mi hijo fue sólo un daño colateral”.
Como resultado de lo acontecido, Character.AI implementó nuevas restricciones para usuarios menores de 18 años en la que se prohíbe descripciones específicas de autolesión o suicidio.
Además, pusieron en marcha un recurso emergente que se activa cuando el usuario ingresa frases referentes a la autolesión o suicidio.