Anthropic exige auditorías externas a sus modelos frontera

Dario Amodei, CEO de Anthropic, pide frenar el desarrollo de la IA antes de perder el control. La industria coincide, pero los incentivos económicos mandan. ¿Qué significa para América Latina?

Anthropic exige auditorías externas a sus modelos frontera

Foto: TechCrunch / CC BY 2.0

El máximo responsable de Anthropic, Dario Amodei, pidió este fin de semana frenar el ritmo de desarrollo de los modelos de inteligencia artificial “antes de perder el control”. En un ensayo de 3.800 palabras, el ejecutivo advirtió que los sistemas avanzan más rápido de lo que las propias compañías alcanzan a entender y calculó que en un plazo de seis a doce meses empezarán a verse efectos nocivos: ciberataques, uso indebido en biología y daños económicos difíciles de revertir.

La declaración encontró un raro consenso entre dos de sus competidores directos: Elon Musk y Sam Altman coincidieron en la necesidad de aplicar controles de seguridad. Hasta aquí, el discurso suena responsable. El problema es que la industria que Amodei representa sigue movida por los mismos incentivos económicos que él pide regular.

En julio, 1.386 empleados de empresas de IA de frontera, entre ellos el propio Amodei, firmaron Pacing the Frontier, una declaración que pedía herramientas técnicas y de gobernanza para reducir los riesgos. En esa misma línea, un investigador de Anthropic, Jacob Coxon, renunció a su cargo porque cree que esta tecnología tiene el potencial de terminar con la especie humana. La propia compañía reconoció que el uso indebido en el ámbito biológico es uno de los peligros más graves de los modelos de vanguardia.

Patrocinado Advertisement

El freno que nadie quiere aplicar

La solución que propone Amodei no es menor: abrir las puertas a evaluadores externos, con un nivel de acceso equivalente al de los empleados, para verificar que se siguen los procedimientos de seguridad. También instó al resto de la industria a imitar la medida. Pero es una sugerencia voluntaria en un mercado donde la confianza no es la moneda de cambio y donde el costo de detenerse equivale a ceder terreno frente a los competidores.

El contexto político tampoco acompaña. La administración de Donald Trump impulsa el desarrollo de la IA y la construcción de centros de datos, y estigmatiza a los ciudadanos que se oponen. El propio Amodei ya tuvo un enfrentamiento con el gobierno estadounidense por sus advertencias. Los expertos creen que el ensayo tendrá impacto en el debate sobre regulación, pero dudan de que alguien actúe mientras las ganancias sigan creciendo. La historia reciente de la industria muestra que los llamados a la prudencia se archivan hasta la próxima catástrofe.

América Latina, espectadora de lujo

Para las empresas latinoamericanas, el debate no es abstracto. La región no fabrica los modelos de frontera, pero los adopta en banca, gobierno, salud y comercio, muchas veces sin acceso a los informes de seguridad ni a los detalles de entrenamiento. Si esos sistemas fallan a escala global, el impacto llegará a la región sin que sus gobiernos hayan participado en la decisión de seguir o frenar.

La propuesta de Amodei, aunque voluntaria, establece un estándar que los reguladores locales podrían aprovechar: exigir a los proveedores de IA transparencia real sobre sus riesgos antes de permitir su operación. En la región, la respuesta oscila entre el entusiasmo por atraer inversión y la falta de capacidad técnica para auditar lo que se importa. La advertencia no viene de un activista externo, sino del director de una de las empresas más poderosas del sector. Cuando el jugador más interesado en el negocio dice que se está avanzando demasiado rápido, el riesgo debería tomarse en serio. La pregunta para América Latina no es si la IA se va a detener: no se va a detener. La pregunta es si sus gobiernos y sus equipos tecnológicos van a exigir explicaciones antes de que el costo de no hacerlo sea incalculable.

Fuentes

  1. La industria de la IA ha tomado un giro catastrofista. ¿Y ahora qué?
  2. Cómo el choque entre el dinero y la seguridad ha provocado una crisis monumental para la IA | Actualidad Económica
  3. Riesgo existencial de la IA
  4. El director ejecutivo de Anthropic pide frenar la carrera de la IA: “Debemos bajar el ritmo antes de perder el control”
Marcelo Peguero

Escrito por

Marcelo Peguero

Experto en estándares

Cofundador de ISOINNOVA y especialista en diseño de procesos de calidad, con más de 20 años implantando sistemas de gestión en organizaciones públicas y privadas de Latinoamérica. Su trabajo parte de una convicción simple: un proceso mal diseñado no se arregla poniéndole tecnología encima, se amplifica. Desde ahí mira cómo la inteligencia artificial entra en la operación de las empresas — qué promete, qué mide de verdad y quién termina asumiendo el costo cuando el estándar llega después de la herramienta.