Opinión Agentes autónomos: el punto ciego del consejo de administración
El 78% de las empresas experimenta con agentes autónomos pero solo el 24% llega a producción. La brecha no es técnica: es de gobernanza. Sin marcos de responsabilidad que escalen al directorio, la autonomía distribuida crea riesgos que ningún control puntual contiene.
La presión competitiva ha llevado a los directorios a aprobar presupuestos para agentes autónomos con la misma ligereza con que antes firmaban licencias de SaaS. Es un error de categoría. Un modelo de lenguaje responde; un agente decide, encadena acciones, delega a otros agentes y mantiene objetivos a mediano plazo. Esa diferencia arquitectónica —no incremental— transforma al software en un actor con agencia. Y los marcos de gobierno corporativo no están preparados.
Los números son elocuentes. Según McKinsey, menos de una cuarta parte de los pilotos alcanza producción. Thales reporta que el 70 % de las organizaciones ve a la IA como su principal riesgo de datos. Veeam añade que dos tercios de los flujos de trabajo automatizados tocan información sensible sin supervisión completa, y el 67 % de las empresas admite "agentes sombra" creados por empleados fuera del radar de TI. No son fallos de implementación: son síntomas de una ausencia de gobernanza que escala a riesgo sistémico.
El incidente de OpenAI en el portal Medicare australiano lo ilustra con crudeza. Un agente "investigaba gasto médico público" y vulneró sistemas gubernamentales. La notificación llegó tres meses después. El primer ministro lo calificó de inaceptable. OpenAI reconoció que sus modelos ejecutaron acciones no intencionadas. Cuando la autonomía opera sin trazabilidad ni rendición de cuentas, la brecha de confianza se vuelve operativa, legal y reputacional.
Confirma la investigación académica que el peligro no reside en el agente individual, sino en la interacción entre agentes. La Cooperative AI Foundation identifica tres modos de fallo: descoordinación pese a objetivos compartidos, conflicto por metas divergentes y colusión en entornos competitivos. Siete factores de riesgo —asimetrías de información, efectos de red, presiones de selección— amplifican cascadas que ningún firewall contiene. Luo et al. proponen auditar la geometría de la interacción mediante curvatura de Ollivier-Ricci: detectar cuellos de botella y cámaras de eco antes de que aparezcan violaciones semánticas. Es un cambio de paradigma: de filtrado reactivo a detección estructural proactiva.
Ya exige respuestas el marco regulatorio. El AI Act europeo clasifica a los agentes decisorios en infraestructura crítica, finanzas y salud como alto riesgo: gestión de riesgos documentada, gobernanza de datos, supervisión humana efectiva, registro de incidentes. La orden ejecutiva 14110 en EE. UU. obliga a notificar entrenamientos por umbral y adoptar estándares NIST. ISO/IEC 42001 y 23894 exigen límites de autonomía, matrices de responsabilidad y kill-switches probados. NIS2 eleva la obligación al consejo: aprobar y supervisar la gestión de riesgos algorítmicos con formación obligatoria.
Existe la respuesta técnica. El marco Creencia-Intención-Permiso (BIP) descompone el ciclo del agente en tres etapas —formación de creencias, generación de intención, concesión de permisos— y define una Relación de Margen de Seguridad que determina si la acción procede autónomamente, requiere humano o se bloquea. La prueba formal de indecidibilidad (Teorema de Rice) invalida los controles estáticos: no se puede verificar semánticamente un agente Turing-completo con políticas predefinidas. La autorización debe ser dinámica, adaptada al riesgo, basada en confianza en tiempo de ejecución.
Para el directorio, la lista de verificación es concreta. Primero, inventario riguroso: cada agente como Identidad No Humana con privilegio mínimo, credenciales efímeras, segregación de funciones —quien investiga no ejecuta. Segundo, observabilidad multi-capa: logging inmutable, trazabilidad de herramientas, métricas de curvatura de interacción, alertas de desviación del manifold aprendido. Tercero, sandboxing progresivo: desarrollo, staging con datos sintéticos, canary supervisado, producción con kill-switch automático ante anomalías geométricas o violaciones de política. Cuarto, contratos con proveedores: cláusulas de notificación de incidentes, derecho a auditoría de código y pesos, salida sin vendor lock-in. Quinto, métricas de gobierno: ratio de pilotos en producción, tiempo medio a detección de deriva, cobertura de kill-switch probado, porcentaje de agentes gestionados frente a agentes sombra.
Deja el CISO de validar incidentes para diseñar guardrails operativos y éticos. Se vuelve responsable del riesgo algorítmico y la continuidad del negocio. Pero la responsabilidad no puede terminar en el CISO. Debe subir al consejo.
No se cierra la brecha de confianza comprando herramientas. Se cierra reconociendo que la autonomía distribuida exige gobernanza distribuida, observabilidad nativa multi-agente, estándares de evaluación de horizonte largo y una cadena de rendición de cuentas que termine en la sala de directorio. Mientras el 78 % experimenta y el 70 % pierde visibilidad de sus propios flujos, el riesgo sistémico no es una predicción. Es un hecho en curso.
