El espejismo de la defensa automatizada
En 2023, una empresa europea de telecomunicaciones implementó un agente autónomo para responder incidentes de seguridad. El sistema confundió tráfico legítimo de un socio con un intento de exfiltración y bloqueó toda la comunicación durante seis horas. Las pérdidas ascendieron a 2,3 millones de euros. No fue un caso aislado. CrowdStrike y MITRE han documentado fallos similares que revelan una verdad incómoda: los agentes autónomos de ciberseguridad son una promesa brillante, pero también una fuente de riesgos que muchas empresas no están preparadas para gestionar.
Detrás del optimismo que rodea a estos sistemas —capaces de detectar intrusiones, correlacionar alertas y ejecutar remediaciones sin intervención humana— se esconde una fragilidad sistémica. Un estudio del SANS Institute reveló que el 62% de las empresas que implementaron agentes autónomos reportaron al menos un incidente que requirió intervención manual de emergencia. La automatización, en lugar de liberar recursos, generó nuevas cargas operativas.
La mecánica del error: alucinaciones y contexto
El problema de fondo es estructural. Los modelos de lenguaje que actúan como cerebro de estos agentes padecen alucinaciones: generan conclusiones plausibles pero factualmente erróneas. En ciberseguridad, esto se traduce en falsos positivos masivos o, peor aún, en la omisión de amenazas reales. MITRE documentó un caso en el que un agente aisló un servidor de base de datos crítico porque interpretó un backup programado como una amenaza, interrumpiendo el servicio para más de 200 usuarios.
Además, los agentes carecen de la capacidad de contextualizar eventos más allá de su ventana inmediata. Esto los vuelve vulnerables a ataques de confusión de contexto, donde un adversario manipula la frecuencia de alertas para inducir decisiones equivocadas. Una empresa de seguridad reportó que su agente bloqueó direcciones IP legítimas de su propio proveedor de nube al recibir múltiples alertas de baja severidad en rápida sucesión.
Ataques adversarios y sesgos invisibles
Investigadores de Carnegie Mellon demostraron que es posible envenenar los datos de entrenamiento de un agente con logs ligeramente modificados, logrando que ignore ciertos tipos de tráfico malicioso. Este ataque es especialmente peligroso porque puede pasar desapercibido durante meses.
También existe un sesgo geográfico preocupante. Los modelos entrenados con datos de empresas norteamericanas o europeas fallan cuando se implementan en contextos latinoamericanos o asiáticos. Vectra AI detectó que un agente entrenado con datos financieros de Norteamérica tenía una tasa de falsos positivos tres veces mayor en manufactureras del sudeste asiático. Para las empresas latinoamericanas, esto significa que los agentes genéricos no son adecuados sin una adaptación local costosa y cuidadosa.
El vacío normativo en América Latina
Mientras la Unión Europea clasifica estos sistemas como de alto riesgo y exige transparencia y supervisión humana, en América Latina la regulación es prácticamente inexistente. Una empresa chilena que implementó un agente autónomo para monitorear accesos financieros descubrió que el sistema bloqueó a un usuario legítimo por un error en los datos biométricos. La empresa no pudo demostrar la confiabilidad del sistema ante el regulador porque no existían estándares locales de auditoría para agentes de IA.
Delegar decisiones críticas a estos sistemas sin un marco legal claro es una apuesta peligrosa. ¿Quién es responsable cuando un agente causa una interrupción de servicio o una violación de datos? ¿El desarrollador, el integrador o la empresa que lo opera? La incertidumbre jurídica es un riesgo adicional que ningún director de TI debería ignorar.
Cómo navegar la paradoja
No se trata de abandonar la automatización, sino de implementarla con salvaguardas. La primera es el principio de "humano en el circuito": las acciones destructivas —aislar servidores, bloquear direcciones IP— deben requerir aprobación manual. La segmentación de permisos, aplicando el principio de mínimo privilegio, limita el alcance del agente. Y las pruebas de estrés con ataques adversarios simulados deberían ser obligatorias antes del despliegue.
La transparencia algorítmica también es clave. Las organizaciones deben exigir a sus proveedores documentación clara sobre los datos de entrenamiento, las métricas de rendimiento y las limitaciones conocidas. Sin esa visibilidad, auditar el comportamiento del agente cuando algo sale mal es imposible.
Confianza que se gana paso a paso
La paradoja de la ciberseguridad autónoma es que, para ser realmente segura, necesita ser imperfecta: necesita dudar, consultar y, a veces, no actuar. La confianza no se otorga; se gana con cada error corregido y cada decisión validada. Mientras los agentes sigan cometiendo errores sistémicos, las empresas harían bien en tratarlos como asistentes capaces pero no infalibles. La promesa de una defensa autónoma sigue siendo eso: una promesa que exige supervisión, transparencia y, sobre todo, criterio humano.
