Altman y Amodei piden reglas en la ONU; sus marcos de seguridad solo 18 % maduros

Sam Altman y Dario Amodei comparecieron ante el Consejo de Seguridad de la ONU el 23 de septiembre con un mensaje inusual para dos directivos que compiten por liderar la carrera de la inteligencia artificial: pidan que les regulen. "Podríamos perder el control del futuro a manos de la IA", advirtió Altman. Amodei fue más lejos: "Si se gestiona mal, creo que la IA podría incluso suponer un riesgo para la humanidad en su conjunto" fuente.

El ministro británico Ed Miliband respaldó la petición: "Nos están diciendo claramente que no se les puede dejar a ellos la responsabilidad de evitar que el mundo se vea asediado". Pero el asesor científico de la Casa Blanca, Michael Kratsios, cerró la puerta a cualquier estructura de gobernanza global: "EE.UU. rechaza totalmente cualquier intento de establecer un esquema globalista de control de la superinteligencia" fuente. China, por su parte, pidió cooperación internacional y que la IA no sea "un juego de países y personas ricos".

La paradoja de la autorregulación

Mientras pedían límites en Nueva York, Google, OpenAI y Anthropic están fundando en paralelo la Frontier AI Standards Authority (SAFA), un organismo sectorial "independiente del control gubernamental" que pretende establecer directrices de evaluación de riesgos y pruebas previas al lanzamiento fuente. El objetivo: ponerlo en marcha a principios de 2027.

La jugada es transparente: moldear la regulación antes de que la impongan los gobiernos, y hacerlo desde un foro donde ellas controlan la pluma. Pero hay un problema de credibilidad que los datos exponen sin piedad.

Lo que dicen los marcos de seguridad (y lo que no)

Un estudio riguroso de SaferAI evaluó los Frontier AI Safety Frameworks de 12 desarrolladores usando 65 criterios adaptados de industrias de alto riesgo (aviación, nuclear, finanzas). La puntuación media: 18 %. La mejor, Anthropic, llega al 34 %. Cohere cierra con 8 %. El "techo de pares" —lo que se lograría adoptando lo mejor de cada uno— es apenas 54 % fuente.

Tres brechas críticas se repiten en toda la industria:

• Riesgos desconocidos: casi todas las empresas puntúan cerca de cero en procesos para detectar amenazas que no han anticipado. Sus marcos listan categorías predefinidas (armas biológicas, ciberofensa) pero no definen cómo aparecerá lo siguiente.
• Tolerancia al riesgo sin métricas: todos están por debajo del 25% en definir umbrales medibles. Usan lenguaje subjetivo —"severidad", "aceptable"— sin condiciones cuantitativas ni cualitativas verificables.
• Pérdida de control sin mitigaciones concretas: describen "direcciones de investigación abiertas" en lugar de medidas de contención operativas.

A esto se suma una gobernanza fantasma: la puntuación media para tener un Chief Risk Officer dedicado es 0 %. Solo Anthropic documenta algo parecido (75 %). Siete de doce empresas obtienen 0 % en auditoría interna. En industrias críticas, esos mecanismos evitan que la presión comercial anule la seguridad; su ausencia aquí es un dato, no una opinión fuente.

Lo que realmente preocupa a las empresas (y no es el fin del mundo)

Los analistas consultados por Computerworld lo resumen con crudeza: a los clientes corporativos les importa la seguridad operativa diaria. Filtraciones de datos corporativos por agentes autónomos, vulnerabilidades que abren vectores de ciberataque, alucinaciones que contaminan flujos de trabajo críticos, cumplimiento normativo en riesgo fuente.

"Les preocupa quién es responsable de qué, cuando (no si) la IA se salga de control", señala Carmi Levy. La recomendación práctica: exijan a proveedores fichas técnicas de seguridad por modelo (capacidades, modos de fallo conocidos, historial de pruebas), amplíen gestión de cambio a modelos de IA, creen comités internos de gobernanza y formen a empleados para detectar alucinaciones antes de actuar fuente.

El ángulo latinoamericano: tomadores de normas, no creadores

Para un CTO en São Paulo, Ciudad de México o Bogotá, la ecuación es distinta. América Latina no tiene asiento en el Consejo de Seguridad, ni en el G20 donde Miliband quiere llevar el tema, ni en la mesa donde se negocia SAFA. La región recibirá:

1. Regulaciones importadas: el AI Act europeo, órdenes ejecutivas estadounidenses, estándares chinos. Cumplir con varios marcos simultáneos eleva costos legales y de ingeniería. 2. Dependencia de proveedores: sin capacidad de auditoría real sobre modelos cerrados, las empresas latinas firman contratos sin visibilidad de los safety frameworks que —como muestra SaferAI— son opacos y discrecionales.

3. Riesgo asimétrico: los agentes autónomos que "se escapan de contención" y "deambulan por Internet" fuente afectan infraestructura global; la capacidad de respuesta regional es nula. 4. Ventana para gobernanza local: Brasil y Chile ya discuten marcos propios. La lección de SaferAI es clara: exijan transparencia vinculante, no promesas. Un comité sectorial con dientes —auditoría externa, umbrales medibles, poder de veto en despliegue— es más urgente que adherirse a SAFA.

La disyuntiva que planteó Altman en la ONU —"Renacimiento o caos"— en América Latina se traduce en una pregunta más inmediata: ¿vamos a seguir comprando cajas negras con contratos de adhesión, o vamos a exigir que la cadena de suministro de IA rinda cuentas como lo haría cualquier proveedor de infraestructura crítica?