Los sistemas de seguridad que protegen a los modelos de lenguaje de gran tamaño (LLM) tienen un talón de Aquiles: son vulnerables a ataques que no necesitan código malicioso ni exploits complejos, solo una redacción inteligente. Un equipo de investigadores de la Universidad de Stanford, la Universidad Carnegie Mellon y el Vector Institute acaba de demostrar que es posible eludir los filtros de contenido mediante una técnica denominada inyección de planes. El hallazgo, disponible en el servidor arXiv, expone una superficie de ataque que muchas empresas han pasado por alto al implementar soluciones de inteligencia artificial generativa.
La investigación describe un método que los autores llaman inyección de planes, una variante de los ataques de inyección de instrucciones que busca corromper la integridad del proceso de razonamiento del modelo. El problema radica en la asimetría entre los filtros de seguridad de acceso rápido y los modelos de lenguaje de propósito general más potentes y lentos. Estos filtros están diseñados para examinar las solicitudes entrantes y detectar anomalías, pero al enmascarar los comandos dentro de una estructura gramática natural y fluida, las instrucciones maliciosas pueden llegar al modelo final sin levantar ninguna alarma.
La brecha entre el filtro y el modelo
Los investigadores han calificado esta brecha como una superficie de ciberataque que no requiere técnicas de evasión complejas ni la vulneración de las políticas internas del sistema. En lugar de eso, el atacante simplemente explota el hecho de que los sistemas de moderación a menudo se basan en modelos más ligeros que examinan la solicitud inicial, mientras que un segundo modelo, más sofisticado, es quien procesa la petición final. Si el filtro no puede entender la intención maliciosa camuflada tras una solicitud aparentemente benigna, la defensa se derrumba.
Lejos de ser teórica, la amenaza es real. Según ha señalado Check Point Research al evaluar estos hallazgos, los resultados denotan un punto ciego crítico en las arquitecturas de seguridad que se basan en modelos ligeros para la revisión previa de las solicitudes. En la práctica, esto significa que las empresas que despliegan asistentes de IA con acceso a datos corporativos o aplicaciones de negocio podrían estar expuestas a un vector de ataque que los controles convencionales no detectan.
Cómo funciona el ataque con cadenas de pensamiento
Esa técnica explota el prompting de cadena de pensamiento (CoT, por sus siglas en inglés), un método que consiste en insertar pasos de razonamiento intermedios entre la pregunta del usuario y la respuesta final. Los modelos de lenguaje estándar suelen tener dificultades con los problemas de varios pasos porque intentan asignar directamente la entrada a la salida en una sola pasada. El CoT aborda este problema mostrando al modelo cómo estructurar su lógica antes de resolver una tarea nueva, aprovechando el aprendizaje con pocos ejemplos.
Mientras que la técnica se desarrolló para mejorar el razonamiento lógico, los investigadores han descubierto que también puede ser un arma. Al generar explícitamente razonamientos intermedios, el modelo se ve obligado a revelar sus pasos de pensamiento. Para un atacante, esto supone una ventana a cómo funciona el modelo, pero la amenaza real está en la posibilidad de inyectar instrucciones ocultas entre esos pasos. Si un modelo de moderación no está entrenado para reconocer este tipo de patrones gramaticales complejos, cualquier instrucción incrustada puede pasar desapercibida hasta llegar al sistema final.
Dicha cadena de pensamiento también tiene aplicaciones potentes más allá del texto: puede combinarse con la visión por computador y la generación de código. En lugar de una petición vaga, un prompt con CoT puede estructurar una tarea compleja paso a paso, desde importar las bibliotecas necesarias hasta ejecutar una función específica. Esto supone un desafío adicional para los sistemas de seguridad, que deben estar preparados para auditar el razonamiento interno del modelo, no solo la solicitud superficial.
Eli Smadja, director de investigación en Check Point Research, lo ha resumido con claridad: a medida que las empresas integran sistemas de IA con acceso a datos y aplicaciones de negocio, la estrategia de seguridad debe evolucionar. Confiar exclusivamente en inspeccionar lo que entra en el sistema resulta insuficiente cuando los vectores de ataque se basan en el lenguaje natural.
Implicaciones para América Latina
Este aviso llega en un momento crítico para la adopción de IA en América Latina, donde muchas organizaciones están implementando asistentes empresariales y modelos fundacionales sin una revisión profunda de sus capas de protección. La mayoría de las soluciones de seguridad en la región se centran en el perímetro: cortafuegos, autenticación y control de acceso. Sin embargo, el vector descrito en este estudio ataca el propio razonamiento del modelo, un plano que ninguna infraestructura tradicional puede proteger.
Para las empresas latinoamericanas, el costo de ignorar esta amenaza no es solo la pérdida de datos. Una brecha en la capa de inferencia de un modelo con acceso a información privilegiada podría traducirse en la exposición de secretos comerciales, propiedad intelectual o datos personales de clientes, con las sanciones regulatorias que eso conlleva en un entorno cada vez más exigente en materia de privacidad.
La evolución hacia agentes autónomos confiables
El estudio sostiene que el prompting de cadena de pensamiento se está convirtiendo en una práctica recomendada estándar para liberar todo el potencial de los modelos fundacionales. Pero a medida que las arquitecturas evolucionan hacia agentes autónomos capaces de gestionar flujos de trabajo complejos en sectores que van desde la sanidad hasta la fabricación, la superficie de ataque se amplía.
La gran pregunta que deben hacerse los responsables de tecnología en la región no es si sus modelos de IA pueden ser engañados, sino si sus sistemas de monitoreo están preparados para detectar patrones de razonamiento inyectados. La respuesta, para muchos, sigue siendo incierta. La conversación en torno a la gobernanza de la IA en América Latina debería incorporar este tipo de vulnerabilidades como un elemento central del diseño, no como una ocurrencia de último minuto.
