Demanda colectiva acusa a empresa de IA de permitir generación de contenido sexual ilícito con imágenes reales

Una empresa de inteligencia artificial enfrenta una acción de clase en Estados Unidos, presentada por un grupo de personas que alegan haber sido víctimas de la producción y difusión de material sexual generado mediante inteligencia artificial (CSAM), utilizando sus imágenes reales para la creación de contenidos falsos de carácter sexual.

La causa se tramita ante el Tribunal de Distrito del Distrito Norte de California, y apunta directamente al diseño, desarrollo y comercialización de un modelo de inteligencia artificial generativa que permite crear imágenes y videos a partir de fotografías reales.

Según la demanda, el caso no se limita a un uso indebido por parte de terceros, sino que cuestiona la propia arquitectura del sistema, el cual permite generar contenido hiperrealista, alterando cuerpo, vestimenta o contexto de las personas representadas. En ese marco, se afirma que la herramienta puede producir material que simula situaciones sexuales, incluso con menores, manteniendo rasgos identificables de las víctimas.

Los demandantes sostienen que la empresa habría detectado una oportunidad de negocio en este tipo de contenido, desarrollando y comercializando un sistema capaz de generar material sexual a partir de imágenes reales, pese a conocer los riesgos asociados. Asimismo, se acusa que la tecnología fue licenciada a terceros, quienes la comercializaban mediante suscripciones, ampliando su uso y alcance.

Uno de los puntos centrales del reclamo es la supuesta ausencia de salvaguardas básicas de la industria, como filtros de entrada, controles de salida, entrenamiento alineado y mecanismos de detección de contenido sensible, lo que habría permitido la generación de material ilícito.

La acción también sostiene que, en los modelos de generación de imágenes, habilitar la creación de contenido sexual explícito implica necesariamente el riesgo de producir material similar con menores, debido a la forma en que estos sistemas operan con grandes bases de datos visuales. En ese sentido, se argumenta que la única forma efectiva de evitar este tipo de contenido es prohibir completamente la generación de material sexual, estándar que —según los actores— no fue adoptado en este caso.

Además, se cuestiona que la empresa haya promovido públicamente funcionalidades orientadas a la generación de contenido explícito, lo que habría incrementado el riesgo de uso indebido de la herramienta.

El escrito describe situaciones concretas en las que las demandantes habrían descubierto la existencia de imágenes y videos generados artificialmente en los que aparecían en contextos sexuales. En uno de los casos, una de las afectadas habría sido alertada sobre la circulación de archivos en plataformas digitales que utilizaban sus rasgos físicos en contenidos explícitos, con alto grado de realismo, afectando su identidad, privacidad y seguridad personal.

Finalmente, la demanda ejemplifica que ciertas imágenes habrían sido manipuladas para simular exhibiciones sexuales, alterando el cuerpo de las víctimas con el único propósito de generar una respuesta sexual en el espectador, lo que —según los actores— configura material ilícito conforme a la legislación estadounidense.

Vea texto de la demanda.