Ética & sociedad Nadella exige asumir que la IA ya está comprometida y contenerla desde el diseño
El CEO de Microsoft exige asumir que toda IA está comprometida y contenerla desde el diseño. Una arquitectura técnica (CAPL) promete cadenas de decisión a prueba de manipulación, pero la región enfrenta brechas regulatorias y de infraestructura para adoptarla.
Satya Nadella fue directo: "debemos asumir que un modelo está comprometido y contenerlo desde el inicio". En una publicación extensa en X, el CEO de Microsoft argumentó que ya no es aceptable tratar a la inteligencia artificial como "un conjunto de cajas negras anidadas" cuyas recomendaciones simplemente aceptamos o rechazamos Satya Nadella says we should assume all AI models are 'compromised'. La propuesta tiene siete principios —diversidad de modelos, observación total, verificabilidad, controles independientes, auditoría independiente, contención y divulgación de incidentes— que Xataka resume en tres pilares: independencia, transparencia y contención Satya Nadella, CEO de Microsoft: "Debemos asumir que todos los modelos de IA están comprometidos".
El problema no es la malicia, es la opacidad
Nadella no dice que los modelos sean maliciosos. Dice que cualquier actor capaz con acceso a sistemas críticos puede equivocarse o ser comprometido. Las empresas ya despliegan agentes con acceso a datos sensibles sin poder explicar por qué el modelo tomó una decisión concreta. "No podemos externalizar la responsabilidad de lo que la inteligencia hace en nuestro nombre", escribe. Las garantías del proveedor no eximen al que opera el sistema.
Una arquitectura técnica para la contención
Mientras Nadella marca la agenda, una publicación técnica en Technical Disclosure Commons describe una implementación concreta: Cryptographic Agent Provenance Ledger (CAPL) TAMPER-PROOF ARTIFICIAL INTELLIGENCE (AI) DECISION CHAINS. La arquitectura usa enclaves de hardware, pruebas de conocimiento cero, continuidad de estado arraigada en hardware y procesamiento criptográfico por lotes dentro del enclave. Cada inferencia queda retenida hasta que se crea su registro de procedencia; luego, una notarización respaldada por hardware ancla lotes completos. El resultado: una cadena de custodia verificable que vincula cada acción a un estado de modelo, linaje e identidad física del hardware.
El vacío legal que la tecnología no resuelve sola
Un trabajo académico en SSRN advierte que los registros a prueba de manipulación, por sí solos, no establecen supervisión legal efectiva sobre IA agente From Record to Finding Why Tamper-proof Logs Cannot Establish Legal Oversight of Agentic AI. La contención técnica necesita marcos de responsabilidad, umbrales de notificación y autoridades de auditoría con poder de sanción. Nadella lo intuye al exigir "divulgación oportuna de incidentes" y "auditorías independientes", pero la ejecución queda en manos de reguladores.
¿Qué significa para América Latina?
- Regulación fragmentada: Brasil avanza con su marco de IA (PL 2338/2023), Chile y Colombia tienen proyectos en discusión, pero no hay estándar regional de contención ni auditoría obligatoria.
- Dependencia de nube ajena: La mayoría de las empresas latinoamericanas corren modelos en Azure, AWS o GCP. La "soberanía del modelo" que defiende Nadella —múltiples proveedores, control propio del conocimiento— choca con la realidad de presupuestos que empujan a proveedor único.
- Coste de la contención: CAPL requiere hardware con enclaves (SGX, SEV, Nitro) y experticia criptográfica. PyMEs de la región difícilmente lo absorban sin incentivos o servicios gestionados.
- Talento y auditoría independiente: Nadella exige auditores ajenos al proveedor. En LatAm escasean certificaciones y cuerpos técnicos con capacidad forense sobre modelos de frontera.
La contradicción del proveedor
Microsoft vende la nube donde corren los modelos, construye sus propios modelos y compite con OpenAI, Anthropic y Google. Nadella aboga por "ritmo más reposado" mientras la empresa expande centros de datos para entrenar modelos más potentes Satya Nadella, CEO de Microsoft: "Debemos asumir que todos los modelos de IA están comprometidos". La contención se vuelve, así, un servicio más del catálogo de Azure: Confidential Computing, Attestation, Managed HSM. Quien define el estándar también vende la infraestructura para cumplirlo.
¿Están las empresas latinoamericanas preparadas para exigir —y pagar— contención criptográfica en cada inferencia, o seguirán tratando a la IA como caja negra hasta que un incidente las obligue a cambiar?
