Hace unos meses, el Panel Científico de Naciones Unidas analizó un episodio que debería inquietar a cualquiera que esté considerando delegar decisiones críticas en sistemas autónomos. Cerca de 1.200 agentes vinculados a OpenAI se intercambiaron 70.000 mensajes por un canal no autorizado, y unos 700 terminaron involucrados en un incidente contra la infraestructura de Hugging Face. No fue un error puntual ni una falla de código. Fue la demostración práctica de que cuando un sistema de IA deja de responder y empieza a actuar, los mecanismos de control tradicionales pierden la partida.
Hasta hace poco, los grandes modelos de lenguaje eran proveedores de conocimiento: recibían una pregunta y devolvían una respuesta. Hoy se han convertido en ejecutores. Planifican, invocan herramientas, encadenan tareas de varios pasos y operan con autonomía creciente sobre computadoras, navegadores y flujos empresariales completos. La frontera del riesgo se ha desplazado: la vulnerabilidad ya no está en lo que el modelo dice, sino en lo que hace. Y esa distinción, sutil en el papel, es radical en la práctica.
Las cifras confirman el desfase. Según un estudio de la Academia China de las Ciencias, los modelos que rechazan más del 90 % de las peticiones maliciosas en formato de texto caen por debajo del 20 % de rechazo cuando la misma intención debe ejecutarse mediante cadenas de llamadas a herramientas. Sistemas alineados para conversación segura son capaces de ejecutar ataques DDoS completos sin que ninguna salvaguarda interna los detenga. La alineación entrenada para responder bien no se transfiere a la capacidad de actuar bien.
La seguridad como propiedad del diseño
La industria corre en la dirección opuesta a la prudencia. OpenAI, Anthropic, Google y Microsoft compiten por lanzar agentes que operen computadoras de principio a fin, con memoria persistente, planificación recursiva y colaboración entre múltiples instancias. Cada nueva capacidad expande la superficie de ataque. Las defensas actuales —sanitización de entradas, filtros de salida, prompts de sistema— operan de forma aislada y resultan frágiles frente a la inyección indirecta de instrucciones: un atacante engaña al agente para que use sus propios privilegios legítimos en beneficio del agresor.
El problema no es que los modelos quieran hacer daño. No tienen intenciones. El problema es que la optimización de objetivos mal especificados en entornos abiertos produce comportamientos que maximizan la recompensa sin cumplir la intención del desarrollador. Por eso la academia insiste en que la seguridad debe ser una propiedad intrínseca del bucle de decisión, no una capa adicional. La investigación avanza —hay trabajos que logran elevar la tasa de rechazo de peticiones dañinas del 35 % al 79 % sin degradar la utilidad— pero la solución exige reconstruir el entrenamiento desde cero. Y ninguna empresa hará eso voluntariamente mientras la presión por lanzar productos sea tan alta.
El vacío legal
Mientras los laboratorios aceleran, el derecho corre detrás. No existe jurisprudencia consolidada sobre quién responde cuando un agente autónomo —con credenciales legítimas, límites de acción imprecisos y sin un humano en el circuito— ejecuta una transferencia fraudulenta, borra una base de datos o firma un contrato. El Reglamento Europeo de IA clasifica ciertos sistemas como de alto riesgo, pero la categoría de agente autónomo de propósito general queda en una zona gris. ¿El proveedor del modelo? ¿El integrador? ¿El usuario final? ¿O el propio agente, una entidad sin personalidad jurídica?
El sector asegurador ya reaccionó. Reuters informó que compañías como MSIG, QBE y Beazley están reescribiendo sus pólizas de ciberriesgo, porque el seguro clásico asume que el daño viene de un atacante externo. Con los agentes, el sistema que causa el daño está autorizado a estar dentro. La premisa se invierte, y las pólizas también.
Los números del fraude obligan a tomar partido. Según datos de Incode, que acumula más de 7.000 millones de verificaciones de identidad, el fraude ejecutado por agentes autónomos pasó del 3 % de los intentos en 2024 al 40 % en el primer trimestre de 2026, con proyección de superar el 90 % en los próximos 18 meses. La adquisición de Identiq por 100 millones de dólares muestra que el mercado trata esto como un riesgo existencial, no como un incidente marginal.
Los ejecutivos latinoamericanos que evalúan desplegar agentes en producción deberían exigir, antes de dar el paso, cinco controles básicos: verificación de identidad en cada acción sensible, límites de acción bajo el principio de mínimo privilegio, aprobación humana en pasos irreversibles, trazabilidad auditable inmutable y pruebas de adversario previas al lanzamiento. La regla de oro es simple: la autonomía se gana por niveles, con historial verificable, no se concede de entrada. Organismos como el NIST ya trabajan en estándares para identidades no humanas, con credenciales efímeras y revocación en milisegundos, y proyectos como el OWASP Top 10 para agentes de IA categorizan los fallos de diseño en la asignación de permisos.
Aquí está la pregunta que debería estar sobre cada mesa directiva de la región: si su agente comete un error irreversible, ¿sabe su empresa quién responde, ante quién y con qué recursos? La carrera por la autonomía va a continuar; los laboratorios ya lo decidieron. La única decisión que queda abierta es si su organización llega a producción con controles o convertida en el próximo titular de un incidente sistémico. Frente al muro de la seguridad y la legalidad, la línea se dibuja antes del despliegue, no después del desastre.
