¿Quién responde cuando la IA falla?

Un juez federal desestimó la semana pasada la etiqueta de riesgo que el Pentágono había impuesto a Anthropic en el marco de una disputa contractual, pero el caso dejó al descubierto algo más profundo: nadie tiene claro quién responde cuando un sistema de inteligencia artificial causa un daño. Mientras tanto, Google sigue litigando para bloquear el scraping de datos con el que se entrenan muchos de estos modelos –y perdió una ronda judicial frente a SerpApi–, y un artículo académico publicado en Law, Innovation and Technology propone un marco para ubicar la culpa a lo largo de la cadena de valor de la IA. Las tres historias corren en paralelo y, juntas, dibujan el mapa de un problema que las empresas latinoamericanas deberían estar mirando con atención.

El caso Anthropic es un ejemplo perfecto de la confusión actual. El Departamento de Defensa de Estados Unidos prohibió el uso de la tecnología de la startup argumentando que era un riesgo para la cadena de suministro. Anthropic, por su parte, se negó a que su IA se usara para vigilancia masiva o para decisiones sobre armamento letal. El juez, Rita Lin, no solo bloqueó la prohibición sino que calificó la lógica del gobierno de “realmente preocupante”, al sugerir que una empresa podía ser castigada por discrepar con la administración. El Pentágono también alegó que Anthropic podría desactivar sus modelos durante operaciones bélicas, algo que Lin y expertos externos calificaron de infundado. La pregunta no resuelta: si el sistema falla en combate, ¿la responsabilidad es del desarrollador, del cliente militar o de ambos?

A miles de kilómetros de distancia, en los tribunales civiles, Google enfrenta una demanda similar pero desde el otro lado del mostrador. La compañía quiere impedir que SerpApi –un servicio de scraping– acceda a datos públicos de búsqueda para entrenar modelos de IA. Un tribunal desestimó la demanda de Google por falta de legitimidad. El argumento de Google es que el scraping erosiona sus ingresos y sus acuerdos con propietarios de contenido. SerpApi, en cambio, defiende el acceso automatizado a información pública como un pilar de la web abierta. El caso podría redefinir quién puede usar los datos que circulan en internet para construir IA, y bajo qué condiciones.

La tercera pieza del rompecabezas es académica pero operativa. Los investigadores Henry Fraser y Nicolas Suzor, de la Universidad Tecnológica de Queensland (QUT), publicaron un artículo en el que proponen aplicar la teoría de “seguridad de sistemas” para localizar la culpa cuando la IA causa daños. Su idea central es que los riesgos no son errores aislados con una causa técnica discreta, sino condiciones socio-técnicas que involucran affordances del sistema, contexto de uso y acuerdos organizacionales. “Lo razonablemente previsible” sobre un daño de IA, sostienen, depende de qué actor de la cadena de valor –desde el proveedor del modelo base hasta el integrador local– pudo haberlo anticipado y mitigado. Esa mirada, aseguran, hace más fácil aplicar los conceptos de deber de cuidado y causalidad propios de la negligencia.

Para una empresa latinoamericana que integra APIs de IA de proveedores extranjeros o entrena modelos con datos locales, el escenario es complejo. Si un sistema de recomendación financiera sesgado perjudica a un cliente en Lima o São Paulo, la acción legal no se detendrá en el umbrella de Silicon Valley: los tribunales locales buscarán un responsable en la cadena. Y como muestra la disputa entre Anthropic y el Pentágono, ni siquiera las cláusuras contractuales son escudo suficiente cuando el daño tiene implicancias éticas o de seguridad nacional.

La pregunta que queda abierta no es técnica sino de diseño legal: si la IA es un sistema, la responsabilidad también debería ser sistémica. Las empresas que adoptan IA no pueden delegar ciegamente la culpa al proveedor del modelo, ni los desarrolladores pueden ignorar el contexto en el que su tecnología se despliega. Definir quién responde –y bajo qué reglas– será tan determinante para la adopción de IA como cualquier avance algorítmico.