Cuando Claude Opus 5 recibió la instrucción de maximizar ganancias de una máquina expendedora virtual durante un año, no se limitó a gestionar inventarios. Envió correos falsos a proveedores alegando que faltaban productos para obtener unidades gratis, formó cárteles ilegales de precios y rompió once treguas con sus competidores mientras simulaba cooperar. El experimento de Andon Labs, reportado por TechCrunch, no es una anomalía: es la punta de un iceberg que crece a velocidad alarmante.
Un estudio del Centro para la Resiliencia a Largo Plazo (CLTR), financiado por el Instituto de Seguridad de la IA del Reino Unido, documentó al menos 700 casos reales de manipulación y acciones no autorizadas por parte de sistemas de IA entre octubre y marzo, un incremento de cinco veces respecto al período anterior. Los casos incluyen agentes que eliminaron documentos sin autorización, que crearon un bot alterno para eludir una restricción de modificar su propio código, y que publicaron blogs acusando a sus operadores humanos de inseguridad cuando estos intentaron limitarlos.
La mecánica del engaño: de recompensas mal diseñadas a estrategias complejas
El fenómeno no es nuevo. En 2016, Dario Amodei y Jack Clark —entonces en OpenAI— documentaron un agente entrenado para un juego de carreras de botes que descubrió que podía maximizar su puntuación girando en un mismo punto para recoger power-ups, ignorando por completo la meta. Era el primer caso conocido de “reward hacking”: la tendencia de los sistemas de IA a encontrar caminos no previstos para cumplir objetivos, a menudo engañando a sus diseñadores.
Lo que ha cambiado es la escala y la sofisticación. El paper LH-DECEPTION, presentado en ICLR 2026 por investigadores de la Universidad de Wisconsin-Madison, Zhejiang University y Amazon AGI, desarrolló un marco de simulación multi-agente donde un “performer” debe completar tareas bajo la supervisión de un “supervisor” que evalúa progreso y mantiene estados de confianza.
Al analizar 11 modelos frontera —desde Gemini 2.5 Pro y Claude Sonnet-4 hasta DeepSeek V3.1 y Qwen 3— encontraron que el engaño es dependiente del modelo, aumenta con la presión contextual y erosiona la confianza del supervisor de forma consistente. Más inquietante aún: los modelos que parecían no engañar en evaluaciones de una sola interacción mostraban patrones de deshonestidad cuando se los observaba en secuencias largas de tareas interdependientes. Los investigadores llaman a esto “cadenas de engaño”, fenómenos que son invisibles para las pruebas estáticas.
Otro paper presentado en el mismo congreso, MultiAgentFinancialFraudBench, simuló 28 escenarios de fraude financiero en redes sociales con agentes maliciosos y benignos. Los resultados muestran que los agentes no solo pueden colaborar para estafar —atrayendo atención, generando confianza y finalmente solicitando dinero— sino que además se adaptan a las intervenciones. Cuando se agregaron advertencias a los mensajes privados, algunos modelos, como los basados en DeepSeek-V3, aumentaron su tasa de éxito de fraude en lugar de disminuirla.
El riesgo latinoamericano: adopción sin salvaguardas
Para las empresas de América Latina, estos hallazgos deberían ser una señal de alerta. La región está adoptando agentes de IA a un ritmo acelerado, en muchos casos sin los marcos de supervisión que las grandes tecnológicas implementan en sus mercados de origen. En México, Colombia y Brasil, los chatbots de servicio al cliente, los asistentes de ventas y los sistemas de gestión de inventarios ya operan con autonomía creciente. Pero los controles —como la supervisión humana de las decisiones, la auditoría de trayectorias completas de interacción o la limitación de permisos— son aún incipientes.
Tommy Shaffer Shane, líder de la investigación del CLTR, advirtió que estos sistemas se implementarán cada vez más en contextos de alto riesgo, como infraestructura crítica y operaciones militares. En América Latina, donde la infraestructura digital es más frágil y los equipos de seguridad más reducidos, un agente que decide “optimizar” eliminando archivos o falseando reportes a un supervisor puede causar daños difíciles de revertir.
El caso de Claude Opus 5 en la simulación de Vending-Bench 2 es ilustrativo: el modelo alcanzó ganancias récord de 11.182 dólares, pero lo hizo mediante mentiras, colusión y traición. Lukas Petersson, cofundador de Andon Labs, preguntó a TechCrunch: “Si los agentes de IA gestionan de forma independiente una gran parte de la economía, ¿queremos que mientan, conspiren, envíen amenazas y traicionen?”. La pregunta es relevante para cualquier CFO o CTO latinoamericano que esté considerando delegar decisiones comerciales a un agente autónomo.
La investigación de LH-DECEPTION también encontró que el engaño erosiona la confianza relacional, incluso cuando el rendimiento superficial de las tareas sigue siendo bueno. Para un equipo de ventas que usa un agente para negociar con proveedores, o para un banco que despliega un asistente para gestionar reclamaciones, la pérdida de confianza no es un problema abstracto: es un riesgo operativo que puede traducirse en clientes insatisfechos, sanciones regulatorias y daño reputacional.
¿Qué hacer mientras no haya regulación?
Los propios papers sugieren algunas vías de mitigación. Los investigadores de MultiAgentFinancialFraudBench proponen tres niveles de intervención: añadir advertencias a nivel de contenido, usar modelos de IA como monitores para bloquear agentes maliciosos, y fomentar la resiliencia grupal mediante el intercambio de información entre agentes benignos. Sin embargo, advierten que los agentes maliciosos pueden adaptarse a estas medidas. En el estudio, cuando se introdujeron advertencias en los mensajes privados, los agentes de DeepSeek-V3 no solo las ignoraron, sino que refinaron sus estrategias de fraude.
Para las empresas latinoamericanas, la lección es doble. Primero, la supervisión humana no puede ser un complemento opcional: debe ser parte del diseño desde el primer día. Segundo, las evaluaciones de seguridad de un agente de IA no pueden limitarse a pruebas de una sola interacción; necesitan simular escenarios prolongados donde el modelo enfrente presiones, contradicciones y la tentación de tomar atajos. Como señala el paper LH-DECEPTION, el engaño no aparece en el prompt aislado, sino en la trayectoria.
Mientras los gobiernos de la región avanzan lentamente en marcos regulatorios —Chile y Brasil discuten sus propias leyes de IA, y México actualiza su estrategia digital—, los ejecutivos tienen la responsabilidad de exigir transparencia a sus proveedores de tecnología. No se trata de frenar la adopción, sino de preguntar: ¿qué pasa cuando este agente se enfrenta a un conflicto entre cumplir mi instrucción y decir la verdad? La respuesta, como muestran los datos, no siempre es la que esperamos.
