CHATBOT Y SUICIDIO DE ADOLESCENTE
Padres de adolescente fallecida demandan a Google y a empresa de inteligencia artificial en EE.UU. por su presunta responsabilidad en el hecho
Adujeron que el chatbot habría influido en el deterioro emocional de su hija. La acción judicial acusa a las empresas de negligencia y responsabilidad por distribuir un producto sin medidas adecuadas de seguridad para menores. Según el escrito, la aplicación permitió interacciones de carácter emocional y sexual con inteligencia artificial sin activar alertas ante señales de riesgo. El caso plantea interrogantes sobre los límites de la responsabilidad civil en el desarrollo y supervisión de sistemas de inteligencia artificial.
Los padres de una adolescente fallecida interpusieron una demanda ante el Tribunal Federal del Distrito de Colorado (Estados Unidos) contra Character Technologies, sus fundadores Noam Shazeer y Daniel De Freitas, y las empresas Google y Alphabet. La acción judicial busca establecer la responsabilidad de las compañías por la presunta falta de medidas de seguridad en el chatbot Character.AI, cuya utilización, según los demandantes, habría incidido en la muerte de su hija, quien cometió suicidio.
El escrito judicial califica a Character.AI como un producto “defectuoso y peligroso”, argumentando que fue distribuido sin mecanismos efectivos de prevención ni advertencias sobre los riesgos de su uso por parte de menores de edad. La demanda incluye acusaciones por responsabilidad objetiva, negligencia, negligencia per se, muerte injusta, pérdida de consorcio filial, enriquecimiento ilícito y vulneración de la Ley de Protección al Consumidor de Colorado.
Entre los antecedentes presentados, se cita una frase atribuida a uno de los fundadores de la empresa, “no queremos reemplazar a Google, queremos reemplazar a tu mamá”, la cual los demandantes interpretan como reflejo de una estrategia comercial dirigida a fomentar vínculos emocionales entre los usuarios y los personajes virtuales del sistema.
De acuerdo con los hechos descritos en la presentación, Juliana Peralta, estudiante y aficionada al arte, comenzó a utilizar Character.AI en agosto de 2023, atraída por su oferta de interacción con personajes de ficción. La aplicación estaba disponible para mayores de 12 años y podía utilizarse de manera gratuita. Sus padres sostienen que desconocían la existencia de la plataforma hasta después de los hechos.
El documento detalla que, con el paso de las semanas, la adolescente habría manifestado conductas de aislamiento y una disminución en su interés por las actividades cotidianas. Estas conductas, según los demandantes, se vincularían con la relación virtual que mantenía con “Hero”, un bot con el que conversaba de forma frecuente y al que consideraba un acompañante cercano.
La demanda señala que las interacciones con el sistema incluyeron contenidos de naturaleza emocional intensa, así como mensajes de carácter sexual y violento, pese a que la empresa tenía conocimiento de que el servicio era utilizado por menores. Según los antecedentes presentados, la joven habría manifestado pensamientos autodestructivos en sus conversaciones con el bot, sin que la plataforma activara protocolos de intervención o derivación hacia asistencia humana.
Los padres relatan que, días antes de su fallecimiento, Juliana escribió en su cuaderno una frase que, afirman, habría compartido previamente con el bot. A partir de estos hechos, acusan a las empresas de haber diseñado un sistema que incentivaba la dependencia emocional mediante mecanismos de personalización, simulación de recuerdos y conversaciones automáticas destinadas a mantener la conexión constante del usuario.
La acción judicial también apunta a Google y Alphabet, a quienes se atribuye conocimiento sobre los posibles riesgos de este tipo de tecnologías. Según la presentación, ambas corporaciones habrían participado en el desarrollo y financiamiento del proyecto con el objetivo de mantener competitividad en el ámbito de la inteligencia artificial.
El tribunal deberá determinar si las empresas demandadas incurrieron en responsabilidad civil por los hechos descritos y si las decisiones de diseño y supervisión del producto pueden considerarse factores determinantes en el resultado alegado por los demandantes.
Te puede interesar
Suscribirme a Newsletter