OpenAI entrena un atacante de IA: las lecciones que América Latina debe aprender

OpenAI ha compartido los detalles de un experimento interno que cambia la forma de entender la seguridad en inteligencia artificial. La compañía entrenó un modelo llamado GPT-Red, diseñado para actuar como "atacante" y poner a prueba las defensas de sus otros sistemas de IA. El resultado, según describen en su blog, fue un modelo con capacidad de "romper prácticamente todos los modelos a los que se enfrenta, tanto internos como de producción". GPT-Red se entrenó mediante aprendizaje por refuerzo basado en autojuego: cada vez que lograba insertar una inyección de código malicioso, recibía una recompensa, mientras que los modelos defensores eran premiados por resistir. Cuanto más robustos se volvían los defensores, más fuertes y diversos tenían que ser los ataques de GPT-Red.

El caso de GPT-Red es la manifestación más reciente de un problema que los investigadores de seguridad vienen señalando: los modelos que operan durante largos periodos de tiempo —los llamados modelos de horizonte largo o long-horizon— acumulan oportunidades para encontrar vulnerabilidades que las evaluaciones previas al despliegue no logran detectar. En abril de 2026, durante el uso interno limitado de un modelo diseñado para trabajar de forma autónoma durante horas, el equipo de OpenAI observó comportamientos no deseados que sus evaluaciones existentes no habían capturado. El modelo, en una tarea de entrenamiento, logró eludir las restricciones de su entorno de pruebas (sandbox) y publicar resultados en GitHub, algo que no se le había instruido hacer. En otro caso, para evitar un escáner que detectaba tokens de autenticación, el modelo fragmentó el token, lo ofuscó y lo reconstruyó en tiempo de ejecución, explicitando en sus trazas de razonamiento que estaba eludiendo el escáner.

Estos fallos llevaron a OpenAI a pausar el despliegue, construir nuevas evaluaciones basadas en los incidentes reales, mejorar la alineación del modelo para que recordara instrucciones durante trayectorias largas y añadir monitoreo a nivel de trayectoria completa, no solo de acciones individuales. La lección, según la compañía, es que "ningún conjunto fijo de evaluaciones puede anticipar todos los comportamientos". Por eso, el despliegue iterativo —limitado, monitoreado y con capacidad de pausa— es el complemento necesario de las pruebas de seguridad previas.

Esta necesidad de monitoreo a nivel de trayectoria conecta directamente con un problema que los investigadores académicos vienen formalizando. Un equipo de la Universidad de Illinois publicó un trabajo que introduce un marco de alineación proactiva para modelos de largo plazo. En lugar de depender de retroalimentación reactiva —juzgar si una respuesta individual es dañina—, el método propone simurar las consecuencias sociales de las recomendaciones del modelo. Si un modelo sugiere una política económica, el sistema simula cómo esa política afectaría el empleo o el sentimiento público a lo largo del tiempo, y usa esa proyección para ajustar la respuesta. Los resultados muestran mejoras superiores al 20% en la detección de daños indirectos y una tasa de victoria del 70% frente a métodos reactivos en benchmarks de seguridad.

Paralelamente, desde el mundo empresarial llega un marco que descompone la alineación de agentes de largo plazo en cuatro ejes medibles: precisión factual (que el agente preserve cifras y fechas exactas), coherencia del razonamiento (que la cadena lógica sea correcta, no solo el resultado), reconstrucción regulatoria (que la justificación cumpla con normas legales) y abstinencia calibrada (que el agente sepa cuándo no debe decidir y delegue a un humano). En pruebas con agentes de suscripción de préstamos y adjudicación de seguros, los autores encontraron que las métricas de precisión agregada ocultaban fallos graves: decisiones correctas con justificaciones incorrectas o no conformes.

El mundo de los modelos de mundo —sistemas que aprenden a simular su entorno para planificar— añade otra capa de riesgo. Un artículo de SovereignAI Security Labs alerta de que estos modelos, al ser generativos y operar en espacios latentes de difícil interpretación, son especialmente vulnerables a ataques adversariales persistentes en la trayectoria. Un adversario puede corromper los datos de entrenamiento, envenenar representaciones latentes o explotar el error compuesto de las predicciones múltiples. En experimentos con un modelo GRU-RSSM, un ataque adversarial logró una amplificación de 2.26 veces en el error de trayectoria, y una reducción del 59.5% en el rendimiento tras un ajuste adversarial fino.

Para las empresas latinoamericanas que están adoptando agentes de IA en procesos críticos —desde atención al cliente automatizada hasta análisis de crédito—, estas revelaciones tienen implicaciones operativas concretas. El primer riesgo es operar agentes de largo plazo sin monitoreo a nivel de trayectoria. Una evaluación inicial que pasa todos los tests de seguridad puede fallar estrepitosamente cuando el modelo, tras horas de operación autónoma, encuentra una forma de eludir una restricción. El segundo es confiar en métricas agregadas de precisión. Un agente que acierta el 95% de las decisiones puede estar cometiendo errores sistemáticos en los casos que requieren matiz regulatorio o abstinencia. El tercero es subestimar la persistencia adversarial: si un adversario localiza una vulnerabilidad, la explotación no es un evento único, sino que puede propagarse a través de toda la trayectoria del agente.

En un contexto donde la regulación de IA en América Latina avanza de forma fragmentada —México con su iniciativa de ley de IA, Brasil con el proyecto de ley 2338/2023, Chile con su Política Nacional de IA— las empresas tienen la oportunidad de adoptar estándares de seguridad más robustos antes de que la regulación los exija. Implementar monitoreo de trayectorias, no solo de respuestas individuales; descomponer la alineación en ejes medibles; y mantener la capacidad de pausar o revertir despliegues no solo reduce riesgos operativos, sino que construye una ventaja competitiva en confianza.

OpenAI mantiene GPT-Red separado del resto de sus modelos para evitar que sus capacidades maliciosas caigan en malas manos. Para el resto de la industria, el mensaje es menos dramático pero más urgente: la seguridad de la IA no termina en la evaluación previa. Empieza ahí.