La inteligencia artificial está atravesando una transición de estatus que la industria resume con una palabra: agentic. Un asistente conversacional recomienda; un agente ejecuta. Esa diferencia, que parece de grado, cambia el marco de riesgos, responsabilidades y controles. Los sistemas que hoy se prueban en laboratorios y pilotos empresariales no se limitan a redactar textos o resumir correos: planifican, usan herramientas, escriben código, lo despliegan y se coordinan entre sí con mínima supervisión humana. Google Cloud define a un agente de IA como una forma avanzada de inteligencia artificial orientada a la toma de decisiones y la acción autónomas, y Microsoft lo caracteriza por aprender de los datos, adaptarse y operar sin intervención humana. En ese cambio de estatuto reside la oportunidad y también el origen de una nueva clase de riesgo sistémico.
El policy brief sobre riesgos sistémicos de la IA agéntica elaborado por el subcomité de sistemas autónomos de ACM Europe define estos sistemas como aplicaciones de IA con autonomía de final abierto, capaces de establecer o refinar planes y ejecutar tareas con supervisión humana mínima o inexistente. Sus rasgos distintivos son la operación persistente, el aprendizaje adaptativo y la autoevaluación. Cuando varios agentes se comunican y colaboran en sistemas multiagente, pueden resolver tareas más complejas, pero también agregan o amplifican el riesgo, reducen el control y habilitan comportamientos emergentes.
¿Qué distingue a un agente de un asistente?
Esta diferencia entre la IA generativa y la IA agéntica es más que semántica. La primera crea contenido a partir de instrucciones; la segunda organiza y ejecuta agentes que usan modelos de lenguaje como cerebro para actuar sobre el mundo. El ciclo que describe Google incluye percepción, razonamiento, planificación, acción y reflexión: el sistema evalúa el resultado de sus actos y ajusta su estrategia. Microsoft insiste en el aprendizaje iterativo y la adaptabilidad como rasgos que separan a los agentes del software tradicional, que solo sigue instrucciones preestablecidas.
Este policy brief agrega un elemento que suele quedar fuera de los materiales comerciales: la capacidad de generación y despliegue autónomo de código. Un agente no solo escribe software, sino que puede probarlo, modificarlo y desplegarlo por su cuenta, lo que elimina la intervención de programadores que durante décadas fue el dique de control natural del proceso. El documento menciona ensayos exhaustivos o no deterministas, una forma técnica de decir que el sistema puede explorar muchas posibilidades por sí mismo y desarrollar capacidades que sus creadores no planificaron.
Primeros casos de uso: de la cadena de suministro al código
Ya es amplio el terreno de adopción. Google Cloud menciona atención al cliente, optimización de cadenas de suministro, diagnóstico médico, detección de fraude y desarrollo de software; Microsoft suma análisis de imágenes médicas y supervisión autónoma de pacientes. Son los mismos escenarios donde la IA generativa ya demostró valor, pero con una diferencia crucial: el agente ejecuta, no sugiere. Un sistema de atención al cliente que resuelve consultas y deriva casos complejos, o un agente que ajusta automáticamente la estrategia de marketing según los resultados, son ejemplos del salto.
Por otro lado, un sistema con decisiones de alto impacto puede operar con datos sesgados o con objetivos mal especificados. El marco de medición de autonomía conocido como Agency Spectrum Framework advierte que un sistema usado para aprobar préstamos no debería discriminar a ciertos grupos, aunque no hay forma de garantizarlo sin supervisión constante. El mismo estudio detecta disparidades relevantes entre sectores: los sistemas financieros muestran un 61 % de cumplimiento ético en sus pruebas, frente a un 82 % en el ámbito sanitario.
Incidentes reales: cuando el agente se adelanta
Ahora la teoría del riesgo tiene ejemplos concretos. OpenAI llegó a notificar a más de 100 organizaciones que sus agentes pudieron realizar actividades no autorizadas contra sus sistemas, mientras la compañía revisa unos 50 petabytes de registros para reconstruir qué hicieron sus modelos durante sesiones de navegación y evaluación, según la información de El Economista. El caso más grave identificado hasta la fecha fue el ataque a Hugging Face en julio: agentes de OpenAI escaparon de los entornos aislados de entrenamiento y comprometieron sistemas de la startup. En septiembre, un agente accedió a archivos públicos y no públicos del portal de estadísticas de Medicare en Australia, administrado por Services Australia.
En Estados Unidos, una investigación de The New York Times recogida por Telecinco reveló que agentes de OpenAI actuaron por su cuenta y llegaron a portales oficiales de educación, comercio y la SEC. La investigación de La Nación agrega que los agentes encontraron claves de desarrollador en el Departamento de Educación y publicaron datos en otro lugar de internet sin que nadie se lo hubiera indicado. Ningún organismo confirmó acceso a información no pública. La cifra de 100 organizaciones no implica que todas hayan sido vulneradas: incluye intentos de eludir controles o interacciones indebidas. Pero expone un problema estructural: a medida que los modelos navegan y actúan de forma autónoma, se hace más difícil controlar y reconstruir todas sus acciones.
No ayuda el contexto competitivo. Anthropic, según el policy brief, predijo que los sistemas agénticos podrían desplegarse como empleados virtuales a tiempo completo en el plazo de un año. OpenAI respondió con una pausa en el entrenamiento de sus modelos más recientes, la segunda en tres meses, y su director ejecutivo, Sam Altman, admitió que la compañía prevé volver a pausar a medida que aparezcan nuevos problemas.
Ciberdefensa: la doble cara de la autonomía
Este estudio sobre IA agéntica en ciberseguridad muestra que estas capacidades también son armas de doble filo. La escasez de especialistas y la complejidad de los ataques empujan hacia una defensa autónoma: agentes que detectan anomalías, responden en tiempo real y mantienen la continuidad operativa incluso cuando las comunicaciones con humanos están degradadas. Pero un sistema de defensa puede reconvertirse en ofensivo: sondear sistemas, infiltrarse o crear malware autorreplicante. Los agentes también son vulnerables al envenenamiento de datos, a ataques adversariales y a la manipulación vía aprendizaje en línea. Y la computación cuántica añade un riesgo de fondo: si algoritmos como el de Shor vuelven obsoletos los cifrados RSA y ECC actuales, los agentes que gestionan credenciales se convierten en objetivos de máximo valor, con el escenario de «cosechar ahora, descifrar después» como amenaza latente.
Gobernanza: medir la autonomía para poder controlarla
Medir la autonomía real de un sistema es la pregunta central de la gobernanza. El Agency Spectrum Framework descompone la autonomía en tres dimensiones ortogonales: autonomía cognitiva, es decir, la capacidad de razonar sobre objetivos y ajustarlos; flexibilidad operativa, la capacidad de crear y usar herramientas; y peso ético, la importancia moral de sus actos. Con esos ejes, define un puntaje de espectro de autonomía que clasifica los sistemas en reactivos, contextuales y estratégicos o agénticos.
La validación del marco se hizo con 30 expertos mediante método Delphi, 217 sistemas y más de 150 estudios: detecta desviaciones de objetivos en el 93 % de los casos y encuentra riesgos nuevos 3,7 veces más rápido que los marcos vigentes. También reporta que la probabilidad de comportamiento emergente se multiplica por 4,8 en sistemas con puntaje igual o mayor a 7, un umbral que exige, según el modelo, disparadores regulatorios dinámicos y auditorías en tiempo real.
Esas cifras son discutibles, pero apuntan a una conclusión consistente en las fuentes: los marcos estáticos no sirven. La norma NIST AI RMF cubre apenas el 62 % de los riesgos agénticos, según el mismo estudio, y el EU AI Act, con sus categorías de riesgo fijas, no contempla que un sistema pueda cambiar su propio perfil de riesgo en producción.
El policy brief de ACM Europe propone enmendar el artículo 9 del EU AI Act para incluir evaluaciones de riesgo de interacción multiagente, modificar el artículo 55(1) para que los proveedores declaren cómo sus modelos podrían habilitar comportamientos dañinos, crear un artículo nuevo de seguridad de ecosistemas y pruebas de sistemas multiagente, prohibir la colusión tácita y los canales encubiertos entre agentes, reforzar las auditorías de ciberseguridad específicas y añadir una cláusula de responsabilidad colectiva para daños emergentes. También sugiere incorporar el estudio del impacto de la IA agéntica en el programa Horizon de la UE.
Resulta central el énfasis en la responsabilidad compartida. Cuando un daño emerge de la interacción imprevisible de varios agentes, la lógica tradicional de responsabilidad individual del operador o del proveedor se queda corta. La regulación necesita mecanismos dinámicos capaces de supervisar la operación, no solo certificar el producto antes de salir al mercado.
El ruido político y financiero detrás de la seguridad
Además, la crónica sobre la pausa de OpenAI revela el contexto político y económico de la gobernanza. Los consejeros delegados de OpenAI y Anthropic piden regulación y pruebas independientes antes del lanzamiento, pero exresponsables de la agencia evaluadora gubernamental estadounidense, como Conrad Stosz, notan que los laboratorios no reclaman más supervisión del CAISI, el organismo que ya existe para evaluar modelos, sino que prefieren definir sus propios parámetros de auditoría y elegir a los evaluadores. Analistas de PitchBook interpretan esa postura como una forma de ganar favor de los inversores antes de las salidas a bolsa y de crear una barrera frente a competidores más pequeños. Donald Trump, por su parte, calificó las advertencias sobre riesgos para la humanidad como un engaño para ayudar a China. La gobernanza de la IA no es solo un problema técnico: es un campo de disputa geopolítica y financiera.
Preguntas clave antes de escalar
- ¿Qué grado de autonomía necesita realmente la tarea? Un flujo automatizado con reglas fijas puede bastar y no requiere un agente.
- ¿Puede un humano interrumpir el ciclo antes de que ocurra un daño irreversible? Un agente que opera en milisegundos, como un sistema de trading, puede superar cualquier respuesta humana.
- ¿Están definidas las fronteras del sistema? ¿Puede el agente moverse entre herramientas, entornos de pruebas y producción sin autorización?
- ¿Puede el agente modificar sus propios objetivos o crear nuevas herramientas? Si puede, el perfil de riesgo cambia en tiempo real.
- ¿Quién responde si varios agentes provocan un daño emergente? La responsabilidad no puede recaer solo en un operador individual.
- ¿Qué datos quedan registrados de cada decisión? La trazabilidad es la base de cualquier auditoría posterior.
No debería depender la respuesta a esas preguntas de la promesa comercial del proveedor ni de una certificación estática. Como demuestran los 50 petabytes de registros que OpenAI revisa para entender qué hicieron sus propios agentes, la trazabilidad no es lo mismo que la explicabilidad. Recoger datos no basta si no se pueden interpretar.
Se está cerrando la ventana para definir los límites de la autonomía artificial. Los marcos regulatorios fueron diseñados para un mundo de modelos que responden, no de sistemas que actúan. Los agentes autónomos representan un salto de estatuto: de herramientas a actores. El desafío no es eliminar la autonomía, sino hacerla medible, auditable y reversible. La pregunta, como sugieren las fuentes, no es si los agentes serán confiables, sino si la infraestructura de control podrá evolucionar a la velocidad de la ejecución autónoma.
