El riesgo de IA que crece en silencio: de la amenaza súbita al colapso gradual

El debate sobre los riesgos existenciales de la inteligencia artificial suele evocar escenarios apocalípticos: una máquina superinteligente que se rebela y decide aniquilar a la humanidad. Pero existe otra vía, menos espectacular y quizás más probable, que ya está ocurriendo en tiempo real. Se trata de la acumulación gradual de fallos sistémicos que, como una rana en agua hirviendo, van socavando la resiliencia de las sociedades hasta un punto de no retorno. Esta distinción, planteada por la investigadora Atoosa Kasirzadeh en un artículo publicado en Philosophical Studies, resulta clave para entender hacia dónde debería dirigirse la gobernanza de la IA, especialmente en regiones como América Latina, donde la fragilidad institucional y la dependencia tecnológica son factores multiplicadores del riesgo.

El enfoque convencional, que Kasirzadeh denomina "riesgo existencial decisivo", se centra en un evento abrupto y catastrófico causado por una inteligencia artificial general o superinteligente. Es el escenario de las películas: un algoritmo todopoderoso que toma el control. Sin embargo, la investigadora de Carnegie Mellon propone una hipótesis alternativa: el "riesgo existencial acumulativo". En este modelo, las amenazas no llegan como un estallido, sino como una serie de perturbaciones pequeñas e interconectadas que, con el tiempo, erosionan la estabilidad de los sistemas económicos, políticos y sociales. Cada ciberataque automatizado, cada decisión opaca de un algoritmo de crédito, cada manipulación informativa a escala —si no se corrigen— va debilitando el tejido colectivo. Cuando un umbral crítico se cruza, un evento menor puede desencadenar un colapso en cascada que ninguna capacidad de reacción puede detener.

Esta tesis encuentra eco en las advertencias que llegan desde Naciones Unidas. El Secretario General declaró ante el Consejo de Seguridad en septiembre de 2025 que "la IA no debe decidir el destino de la humanidad", y subrayó que la tecnología avanza hacia sistemas autónomos con un "impacto profundo" en la seguridad global. Paralelamente, el Instituto Internacional de Estudios para la Paz de Estocolmo (SIPRI) alertó en su anuario de 2025 sobre la falta de consenso para definir siquiera qué es un "arma autónoma letal". Sin definiciones claras y sin controles vinculantes, el riesgo acumulativo sigue creciendo sin que los estados logren ponerse de acuerdo. Ucrania y Gaza ya son campos de prueba donde algoritmos seleccionan blancos o coordinan ataques con una supervisión humana cada vez más diluida.

Lo que significa para América Latina

Para los gobiernos y las empresas de la región, la hipótesis acumulativa no es una abstracción filosófica. América Latina tiene sistemas financieros y de infraestructura digital que dependen en gran medida de plataformas y modelos de IA desarrollados en el exterior, sin que exista soberanía tecnológica ni capacidad de auditoría local. Cada vez que un banco en Chile, una plataforma de delivery en México o un sistema de vigilancia en Brasil terceriza sus decisiones a modelos de caja negra, se introduce una pequeña fragilidad. Una mala asignación de crédito masiva, un sesgo algorítmico que excluye a millones de personas del acceso a servicios básicos, o una falla en la moderación de contenidos que incite violencia política: ninguna de estas fallas por sí sola produce un colapso, pero su acumulación sí puede erosionar la confianza en las instituciones y en el sistema mismo.

El reto para los ejecutivos latinoamericanos no es solo prepararse para una catástrofe súbita, sino auditar continuamente los efectos colaterales de sus propias implementaciones de IA. La trazabilidad, la transparencia de los modelos y la capacidad de intervención humana no son lujos éticos: son barreras operativas contra la erosión sistémica. Si la región no invierte en mecanismos de gobernanza, en equipos multidisciplinarios de seguridad y en regulaciones que exijan rendición de cuentas, podría estar alimentando silenciosamente las condiciones para un colapso que no vendrá de un robot rebelde, sino de la suma de muchas decisiones automatizadas que nadie revisó a tiempo.

La pregunta que deberían hacerse las organizaciones es si están monitoreando no solo el desempeño inmediato de sus sistemas de IA, sino también los efectos indirectos que estos generan a largo plazo. Porque el verdadero peligro, como advierte la literatura académica y confirman los reportes de seguridad global, no está en una hipotética máquina todopoderosa, sino en la lenta erosión de los diques que nos protegen de las fallas cotidianas.