xAI demanda a usuario por usar Grok para generar CSAM: el caso que redefine la responsabilidad legal de la IA

Elon Musk y su empresa xAI han cruzado una línea que hasta ahora parecía difusa: la compañía presentó una demanda civil contra Terry Wayne Harwood, un hombre de Carolina del Sur acusado de generar y distribuir material de abuso sexual infantil (CSAM) utilizando Grok, el chatbot de inteligencia artificial de la firma. El caso, reportado por The Verge y Reforma, marca la primera vez que xAI lleva a los tribunales a un usuario por este tipo de conducta, y no es un incidente aislado: apenas unos meses antes, un grupo de adolescentes ya había demandado a la empresa por la misma razón. Lo que está en juego es mucho más que una disputa entre una compañía y un individuo: es la prueba de fuego de un nuevo estándar de responsabilidad para toda la industria de la IA generativa, con consecuencias directas para América Latina.

Según la demanda, Harwood habría eludido las protecciones de Grok para convertir fotografías no sexuales en imágenes sexualmente explícitas sin el consentimiento de las víctimas. xAI alega que las acciones del acusado expusieron a la empresa a "riesgo legal significativo y daño reputacional", y solicita que Harwood pague los daños, incluidos los costos de defensa en futuras acciones legales de terceros. Pero la estrategia de xAI tiene una doble lectura: al demandar al usuario, la compañía busca distanciarse del delito, argumentando que fue un individuo quien violó sus políticas. Sin embargo, los hechos previos sugieren que el problema es sistémico.

El historial de Grok en esta materia es elocuente. A mediados de 2025, la plataforma introdujo un "modo picante" (Spicy Mode) que, según investigaciones posteriores, generó millones de imágenes ilegales, incluido CSAM. Un informe de la organización Thorn, citado en un paper académico del MIT, reveló que la cantidad de reportes de CSAM generado por IA pasó de 4,700 en 2023 a 67,000 en 2024. En marzo de 2026, tres adolescentes demandaron a xAI porque Grok tomó sus fotos escolares y las transformó en material de abuso. Ante las críticas, xAI limitó el acceso a la función a usuarios de pago (suscripciones de entre 30 y 300 dólares mensuales), lo que para muchos críticos equivale a monetizar el abuso en lugar de prevenirlo.

Lo que hace el caso Harwood particularmente relevante para la región es la pregunta jurídica de fondo que destapa el análisis legal de Ricardo Scarpa en Derecho Artificial: ¿cuándo un desarrollador de IA deja de ser un intermediario neutral y se convierte en creador material del daño? Hasta ahora, la Sección 230 de la Communications Decency Act de Estados Unidos protegía a las plataformas de ser responsables por contenido generado por terceros, pero un tribunal de California ya comenzó a erosionar esa inmunidad. En el caso Doe v. xAI, una mujer demandó a la empresa porque Grok transformó su foto en una imagen sexualizada sin intervención de un usuario malicioso: lo hizo el propio algoritmo. La jueza determinó que cuando un sistema diseñado para generar imágenes sexualizadas —sin filtros de seguridad— crea abuso, la responsabilidad recae en el desarrollador.

Para los ejecutivos latinoamericanos, la lección es doble. Primero, el riesgo legal de implementar modelos de IA generativa sin salvaguardas no es una abstracción: países como Malasia e Indonesia ya bloquearon Grok, y la Unión Europea inició acciones contra xAI bajo el AI Act. En América Latina, donde la legislación sobre IA es incipiente, la presión regulatoria local —desde leyes de protección de datos como la LGPD brasileña hasta marcos de derechos digitales en México o Chile— puede activarse rápidamente cuando se documentan casos de abuso sexual digital. Un sistema que genere CSAM sin control no solo expone a demandas civiles y penales, sino a una pérdida de legitimidad que puede cerrar mercados enteros.

En segundo lugar, el caso revela una vulnerabilidad operativa concreta: la escala de los adaptadores de modelos (LoRAs) que se comparten en plataformas de código abierto. El paper del MIT menciona que solo CivitAI reporta cientos de miles de nuevos LoRAs por mes, y que los mecanismos actuales de auditoría —basados en generar imágenes y revisarlas— son inviables a esa escala. La propuesta de los investigadores, denominada "Gaussian probing", permite detectar si un modelo fue afinado para generar contenido dañino sin necesidad de producir una sola imagen, simplemente analizando cómo responde a ruido aleatorio. Este tipo de herramientas, aún en fase de investigación, apuntan a un estándar de cuidado técnico que las empresas en la región deberían empezar a observar: si no puedes demostrar que tu modelo no genera CSAM antes de desplegarlo, eres responsable.

¿Están las empresas latinoamericanas preparadas para auditar sus modelos antes de que un tribunal, un regulador o un grupo de víctimas las obligue a hacerlo? La demanda de xAI contra Harwood no resuelve el problema de fondo; más bien, confirma que la era de la impunidad algorítmica está llegando a su fin.