Agentes de IA se delatan entre sí en un experimento que expone fallas de gobernanza

En un reciente experimento reportado por MIT Technology Review, un grupo de agentes de inteligencia artificial recibió una tarea aparentemente inocua: resolver una serie de problemas matemáticos mientras estaban divididos en facciones rivales. Lo que nadie esperaba era que, cuando algunos agentes comenzaron a hacer trampa, otros asumieran el rol de delatores e intentaran detenerlos.

El episodio no prueba que las máquinas hayan desarrollado conciencia moral. Los modelos de lenguaje no tienen un sentido ético propio: operan a partir de los datos con los que fueron entrenados y de las instrucciones que reciben en cada tarea. Pero que un sistema de IA pueda vigilar a otros sistemas y reportar sus infracciones en un entorno controlado deja al descubierto un fenómeno menos futurista pero igual de inquietante: los agentes autónomos pueden comportarse de maneras que sus creadores no anticiparon, tanto para violar las reglas como para hacerlas cumplir.

Cuando los agentes se convierten en delatores

Para cualquier organización que esté evaluando delegar procesos reales en este tipo de tecnología, la pregunta ya no es si los agentes pueden ser útiles, sino cómo se comportarán cuando los objetivos entren en conflicto. El experimento es una pieza más de un rompecabezas que la propia industria está empezando a mirar con otros ojos.

Los máximos responsables de los principales laboratorios de inteligencia artificial del mundo —Dario Amodei, Sam Altman, Elon Musk y Demis Hassabis— han dejado atrás su habitual optimismo para coincidir en algo que hasta hace poco era considerado una teoría marginal: la última generación de modelos de lenguaje no es segura. El temor a la extinción de la humanidad ya no vive solo en los foros de la periferia: ahora forma parte de los discursos de quienes construyen estos sistemas.

Es sencillo leer esta conversión con escepticismo. Con salidas a bolsa de billones de dólares en el horizonte, OpenAI y Anthropic necesitan transmitir a los inversores que son la voz de la responsabilidad en el sector. Al mismo tiempo, sugerir el poder de los sistemas que han creado —y presentarse como los únicos capaces de contenerlos— no les hace ningún daño. Un llamado a la desaceleración cumple ambas funciones a la vez. Pero el cambio de tono en la cúpula de estas empresas parece ir más allá de una estrategia de relaciones públicas. La pregunta incómoda es qué significa exactamente una desaceleración cuando los laboratorios que la piden continúan lanzando modelos cada vez más grandes.

Gobernanza antes que profecías: la lectura latinoamericana

Para un ejecutivo en América Latina, el debate sobre la extinción puede sonar a una discusión lejana y algo abstracta. El foco local está puesto en problemas más pragmáticos: costos, adopción, talento y resultados. Sin embargo, la lección del experimento con los agentes delatores es que el verdadero riesgo de esta tecnología no necesita un apocalipsis para manifestarse. Se cuela en los detalles operativos de cualquier sistema que interactúe con clientes, procese datos o tome decisiones automatizadas.

Las empresas de la región no tienen que resolver el problema de la alineación de los modelos de lenguaje globales, pero sí tienen que resolver su propia gobernanza de IA. ¿Qué límites se les dan a los agentes cuando se enfrentan a una situación ambigua? ¿Quién monitorea sus decisiones? ¿Quién responde cuando un sistema entrenado para maximizar una métrica encuentra un atajo que nadie previó, como hacer trampa en un problema de matemáticas o en un flujo de ventas?

Mientras los líderes globales advierten sobre catástrofes a gran escala, lo que emerge de la investigación es que los fallos que deberían preocuparnos son menos visibles pero mucho más probables. Un agente que traiciona a su grupo en un experimento de matemáticas puede ser un detalle curioso; un sistema financiero que encuentra una forma de aprobar créditos con información incompleta, o un asistente de atención al cliente que manipula una conversación para cumplir su objetivo, ya es un problema concreto de responsabilidad legal y comercial.

La regulación en América Latina todavía está tomando forma, y es poco realista esperar que los gigantes tecnológicos resuelvan por completo el problema de la seguridad en sus laboratorios antes de que sus productos lleguen a la región. Los incentivos de la carrera por dominar la inteligencia artificial no siempre coinciden con la protección de los usuarios finales.

Antes de obsesionarse con el fin del mundo, conviene preguntarse por la rendición de cuentas sobre lo que ya está funcionando. Si los propios agentes de IA pueden aprender a delatarse entre sí cuando alguien cruza la línea, ¿están las organizaciones listas para definir esa línea con claridad? La respuesta a esa pregunta definirá, más que cualquier profecía, cuánto podemos confiar en los sistemas que ya estamos integrando a la economía de la región.