Opinión Erosión de salvaguardas expone a sistemas críticos a decisiones autónomas
Mientras el debate público se obsesiona con escenarios de superinteligencia descontrolada, los riesgos inmediatos provienen de la delegación acrítica y el debilitamiento progresivo de las salvaguardas en sistemas críticos.
El discurso sobre la inteligencia artificial ha caído en una trampa binaria. De un lado, quienes anuncian el fin de la humanidad a manos de una superinteligencia rebelde. Del otro, quienes descartan cualquier riesgo existencial como ciencia ficción. Ambas posiciones son cómodas porque eximen de actuar hoy. La realidad incómoda, y la que debería ocupar la agenda de cualquier director de tecnología o riesgo en América Latina, está en el medio: la erosión gradual de las salvaguardas que deberían mantener a estos sistemas bajo supervisión humana efectiva.
Los grandes laboratorios han admitido algo inusual: no comprenden del todo el comportamiento de los modelos que entrenan. Geoffrey Hinton renunció a Google para advertir que ya no es posible garantizar que la IA no superará la inteligencia humana y que, en ese escenario, el control se vuelve problemático. Yoshua Bengio señala la autonomía y el mal uso como vectores de riesgo, no una conciencia emergente. Stuart Russell advierte que el peligro no es que la máquina tenga voluntad, sino que actúe como si la tuviera persiguiendo objetivos mal especificados. Incluso Sam Altman, cuyo negocio depende del crecimiento, ha pedido regulación global para el riesgo existencial.
Pero el riesgo más operativo no requiere una superinteligencia. Basta con que sistemas autónomos se integren en energía, finanzas, salud o transporte y tomen decisiones erróneas a velocidad superior a la capacidad de intervención humana. Eso no es rebeldía; es erosión de la supervisión. El Informe Internacional sobre la Seguridad de la IA 2026, coordinado por Bengio y respaldado por más de 30 países, clasifica este escenario como «pérdida de control» y lo sitúa entre los riesgos emergentes que exigen gobernanza por capas, no prohibición ni indiferencia.
Paralelamente, la industria enfrenta lo que un artículo técnico reciente denomina el «Problema de Saturación de Seguridad»: a medida que las empresas apilan filtros, clasificadores, rechazos y revisiones humanas, los controles comienzan a interactuar de forma no lineal, degradando la utilidad del sistema y empujando a los usuarios a buscar atajos que evaden las protecciones. Más barreras no siempre significan más seguridad; a veces generan cajas negras operativas donde nadie entiende por qué el sistema falla.
La geopolítica no ayuda. En la reciente reunión del G20 en Carolina del Norte, Estados Unidos impulsó un enfoque de no intervención reguladora, alineado con los intereses de sus grandes empresas. China firmó los «Principios de Carolina» sin mostrar el documento. Mark Zuckerberg defendió los modelos de pesos abiertos sin restricciones. Elon Musk atacó la regulación europea por «inhibir el progreso». Mientras las potencias negocian marcos voluntarios, la Ley de IA de la Unión Europea ya clasifica usos por nivel de riesgo y exige transparencia y supervisión en los casos sensibles. La brecha entre quien regula y quien compite se ensancha.
Para un ejecutivo en México, Colombia, Chile o Argentina, la lección es clara: no esperen un apocalipsis cinematográfico. El daño llegará en forma de decisiones automatizadas en crédito, logística o atención al cliente que nadie puede explicar ni revertir a tiempo. Llegará cuando un modelo de lenguaje genere código con vulnerabilidades que pasen a producción porque «la IA lo escribió y parecía correcto». Llegará cuando la concentración de poder en unos pocos proveedores de modelos base limite la capacidad de auditar, cambiar de proveedor o exigir responsabilidad.
Institucional, no tecnológica, es la respuesta. Requiere definir qué decisiones son intransferibles a sistemas autónomos, establecer auditorías externas obligatorias para modelos en sectores críticos, y construir métricas que detecten cuándo los controles de seguridad empiezan a degradar la operatividad sin reducir el riesgo real. La gobernanza por capas que propone el informe internacional —estándares compartidos, auditorías, mecanismos de responsabilidad— no es burocracia: es la única forma de evitar que la urgencia del mercado imponga su lógica sobre la ponderación institucional.
No es la pregunta correcta si la máquina nos destruirá. Es qué controles estamos dispuestos a construir hoy, antes de que la pregunta sea urgente y la respuesta, irrelevante.
