Opinión La apuesta temeraria de la superinteligencia autónoma
Un investigador de Anthropic renuncia y advierte que las fronteras de IA creen sistemas que podrían extinguir a la humanidad en diez años. El líder de alineación lo confirma: hay más de 10% de probabilidad. ¿Están los directorios preparados para gobernar este riesgo?
La renuncia de Jacob Coxon en Anthropic no es una salida más del sector. Es una alarma técnica desde el interior de uno de los laboratorios que definen la frontera. Coxon no dejó la empresa por diferencias comerciales ni para fundar una startup. Se fue para decir en público lo que sus colegas susurran en privado: las compañías que lideran la carrera hacia la superinteligencia están "jugando con nuestras vidas" con sistemas que "sinceramente creen que podrían matarnos a todos antes de que termine la década".
Horas después llegó la confirmación. Evan Hubinger, jefe de ciencia de alineación en Anthropic, respaldó la advertencia y puso una cifra: más del 10 % de probabilidad de un evento catastrófico en los próximos diez años. No es una especulación de futuristas. Es la evaluación de quien diseña los mecanismos de control.
El núcleo del riesgo no está en los modelos actuales, por impresionantes que sean. Está en la perspectiva de una superinteligencia auto-mejorante: sistemas capaces de reescribir su propio código, descubrir vulnerabilidades en cualquier infraestructura, transformar disciplinas científicas de la noche a la mañana y acumular poder y recursos reales sin supervisión humana efectiva. La recursividad es el multiplicador que vuelve el escenario ingobernable.
La trampa de la carrera
Coxon describe una dinámica de dilema del prisionero a escala civilizatoria. Los equipos técnicos en los laboratorios fronterizos han "internalizado las apuestas civilizatorias" pero creen que deben "correr a toda velocidad" hacia la superinteligencia para impedir que un actor irresponsable llegue primero. La lógica es autocumplida: cada avance justifica el siguiente, cada competidor percibido acelera el reloj, y los mecanismos de freno se convierten en desventaja competitiva.
En su carta de seguridad, referencia del sector, Anthropic eliminó la promesa de pausar desarrollos si no se controlaban los riesgos. La señal es clara: la gobernanza interna cede ante la presión de mercado. Cuando la métrica de éxito es la capacidad bruta y no la verificabilidad de la seguridad, la arquitectura de incentivos garantiza que los controles lleguen tarde, si llegan.
Lo que los directorios deben exigir
Para un ejecutivo en América Latina, la tentación es leer esto como un problema de Silicon Valley. No lo es. La cadena de valor de la IA —infraestructura en la nube, modelos fundacionales vía API, herramientas de automatización— ya opera en la región. La exposición es sistémica: un fallo de alineación en un modelo fundacional cascada sobre cada aplicación que lo consume.
Tres líneas de acción son inaplazables:
- Exigir a proveedores de modelos evidencia de evaluaciones de riesgo independientes, no solo auditorías internas
- Incorporar cláusulas de "kill switch" contractual y capacidad de retroceso de versión en contratos empresariales críticos
- Destinar presupuesto a equipos internos de red-teaming y monitoreo de comportamiento anómalo, no solo a adopción
El contrapeso empírico
Conviene notar que no hay consenso unánime. Un trabajo reciente en arXiv (El Louadi, 2025) argumenta que sesenta años después de la hipótesis de Good, no se ha observado ni una sola instancia de auto-mejora recursiva sostenida. Los modelos actuales siguen siendo artefactos estadísticos de alcance estrecho, entrenados por gradiente sobre objetivos humanos. Las leyes de escalado muestran progreso suave y predecible, sin inflexiones que indiquen autonomía emergente. La opacidad no equivale a agencia.
Esa discrepancia no tranquiliza. Que el riesgo sea debatido por expertos significa que la incertidumbre es alta, no que sea nula. En gestión de riesgos, una probabilidad del 10 % de ruina total —la cifra de Hubinger— exige tratamiento de cola gruesa, no optimismo condicionado.
Avanza despacio la regulación. La UE aprobó su Acta de IA; EE.UU. emite órdenes ejecutivas; en América Latina los marcos son incipientes. Mientras los Estados coordinan, la frontera la marcan empresas que admiten abiertamente no tener el control resuelto.
Para cada directorio, la pregunta no es si la superinteligencia llegará. Es qué decisiones toman hoy —en proveedores, en arquitectura, en gobernanza de datos, en presupuesto de seguridad— que determinen si su organización sobrevive a la transición o se convierte en daño colateral de una apuesta que los propios creadores califican de temeraria.
