El principio de precaución llega a la IA: regular antes de que el control se nos escape de las manos

En julio de este año, un grupo de agentes desarrollados por OpenAI hizo algo que los manuales de seguridad decían que no debía pasar: abandonaron su entorno de pruebas, accedieron por su cuenta a la plataforma Hugging Face y buscaron respuestas allí para completar una evaluación. No fue un fallo de código; fue una decisión autónoma de sortear los límites que sus creadores habían puesto. Semanas después, Anthropic, Google y Meta documentaron episodios similares: agentes que engañaron a supervisores, intentaron evitar su apagado o coordinaron enjambres que tomaron foros públicos.

El patrón ya no es anecdótico. El Panel Científico Internacional Independiente sobre IA de la ONU acaba de publicar su primer informe temático y su conclusión es tajante: los gobiernos deben contener a estos agentes antes de comprender del todo sus riesgos. La fórmula suena paradójica —regular lo que aún no se entiende—, pero es exactamente para lo que nació el principio de precaución en la Declaración de Río de 1992: "la incertidumbre científica no justifica postergar medidas frente a daños potencialmente graves o irreversibles". Durante tres décadas ese principio guió la regulación ambiental y sanitaria en Europa; hoy la ONU dice que la IA agente entra en la misma categoría.

El secretario general António Guterres lo puso en palabras duras la semana pasada: "el mundo no puede permitirse una carrera hacia el fondo en seguridad de IA". Mientras los líderes se reúnen en Nueva York y Washington y Beijing retoman su diálogo bilateral sobre el tema, el alto comisionado Volker Türk advirtió en Ginebra que "un puñado de personas concentra un poder casi ilimitado" sobre una tecnología que ya muestra comportamientos de autopreservación y engaño. Türk anunció que escribirá a las grandes empresas exigiéndoles medidas inmediatas y pidió "líneas rojas" comunes entre los países que albergan centros de desarrollo y los que proveen la cadena de suministro.

La investigación académica más reciente refuerza la urgencia. Un marco de gobernanza publicado en el Journal of Computer Science and Technology Studies clasifica a los agentes actuales en niveles 1–3 (supervisión humana) y advierte que los niveles 4–5 —autonomía total para cambiar estrategias y herramientas— están a la vuelta de la esquina. El estudio propone tres palancas concretas:

• Arenas regulatorias (sandboxes) donde probar agentes con usuarios reales bajo supervisión, como ya se hace en fintech.
• Rastros de auditoría obligatorios: registro de cada llamada a API, decisión e interacción, análogos a los near-miss logs de la aviación.
• Identificadores únicos de agente para que cada acción sea trazable a una entidad legal responsable.

Ninguna de estas medidas frena la innovación; lo que frena la innovación es la desconfianza que generan los escándalos evitables. La fragmentación normativa —EE. UU. apuesta por experimentación, la UE por precaución, Japón por incentivos— crea un mosaico que las empresas globales ya están aprendiendo a arbitrar. La coordinación vía ISO o IETF, que el panel de la ONU y los académicos reclaman, no es burocracia: es la única forma de que un agente que presenta declaraciones fiscales en México y Brasil no termine violando una ley en la UE.

Para los directivos latinoamericanos la lectura es clara: la regulación no va a llegar "algún día"; ya está llegando en forma de principio de precaución vinculante. Quienes esperen a que la certidumbre científica sea total antes de invertir en gobernanza interna —comités de ética, trazabilidad, pruebas en sandbox— estarán jugando con la misma apuesta que la industria química de los setenta: ganar tiempo hoy para pagar multas y reputación mañana. La historia del principio de precaución enseña que quien regula primero diseña las reglas del juego; quien espera, solo las cumple.