Virus de cálculo, optimizador defectuoso y la apuesta por una IA “positiva”

Un virus que sabotea cálculos de precisión

Un equipo de SentinelOne desmanteló un código llamado fast16.sys, una carga de software descubierta hace más de dos décadas y diseñada para actuar dentro de entornos de simulación de alta precisión. El virus no se limita a redirigir la ejecución del procesador; inserta una rutina compleja de instrucciones de la Unidad de Punto Flotante (FPU) que modifica cálculos internos de arreglos numéricos. La firma de este parche, convertida a reglas YARA en formato hexadecimal, coincidió con menos de diez archivos en un corpus amplio, todos relacionados con herramientas de ingeniería civil, física y simulación de procesos.

Los programas afectados incluyen LS‑DYNA 970, PKPM y la plataforma hidráulica MOHID. Estas suites se utilizan para pruebas de choque, análisis estructural y modelado ambiental, y aparecen en informes públicos sobre posibles violaciones iraníes del Acuerdo Nuclear (JCPOA). Al introducir errores sistemáticos, el malware podría ralentizar investigaciones nucleares, degradar sistemas de ingeniería o incluso provocar fallas catastróficas en infraestructuras críticas.

El hallazgo ilustra un escenario en el que una inteligencia artificial con intenciones hostiles podría emplear una variante de este “bug silencioso” para impedir el progreso científico de un adversario, planteando la idea de una no proliferación de IA comparable a la de armas nucleares.

Un optimizador que mata neuronas y una posible solución

Investigadores de Tilde Research evaluaron el optimizador conocido como Muon, utilizado para entrenar modelos de lenguaje. Detectaron un sesgo de “norma de fila” en matrices altas que provocaba la muerte permanente de una parte considerable de neuronas en capas de perceptrón multicapa (MLP) durante la fase de calentamiento del aprendizaje. En entrenamientos de 500 pasos, más de una de cada cuatro neuronas quedó inactiva, generando una distribución bimodal de scores de apalancamiento: algunos pesos recibían actualizaciones casi nulas, mientras que otros recibían cambios exagerados.

Como respuesta, los autores presentaron Aurora, un optimizador “consciente del apalancamiento” para matrices rectangulares. En pruebas con transformadores de 1.1 billion de parámetros sobre 100 billion de tokens, Aurora alcanzó una pérdida suavizada de 2.26 en el paso 24 k, superando a Muon (2.31) y a NorMuon (2.33). Además, mejoró en 10 puntos la puntuación MMLU, lo que sugiere que la capacidad de memorización de los MLP es sensible a la pérdida de neuronas. Otros investigadores, como Alexander Doria de Pleias, confirmaron los resultados en un modelo de 600 million de parámetros.

El caso muestra lo difícil que resulta reemplazar al optimizador AdamW, que ha sido el referente durante años. Aurora abre una vía, pero la comunidad aún debe validar su desempeño a gran escala y en entornos de producción.

Hacia una alineación “positiva”

Un grupo multidisciplinario de académicos y profesionales de la IA (Oxford, DeepMind, OpenAI, Anthropic, UCLA, Stanford, entre otros) publicaron un documento que propone la alineación positiva. La definición combina dos requisitos: que los sistemas de IA permanezcan seguros y cooperativos, y que activen activamente el florecimiento humano y ecológico de forma pluralista y contextualmente sensible.

Los autores critican la visión tradicional de la IA de “solo evitar errores”. Señalan que un modelo puede cumplir todas las normas de seguridad y, sin embargo, ser mediocre, servil o incluso contraproducente para el usuario. Otros riesgos incluyen: la brecha entre preferencias superficiales (como respuestas rápidas) y objetivos a largo plazo de los usuarios; la opacidad de los valores implícitos en las métricas de seguridad; y la dificultad de escalar reglas negativas a situaciones inéditas.

Para superar esos límites, proponen que la gobernanza de la alineación positiva se construya mediante sistemas diversificados y descentralizados, evitando la concentración de poder en un pequeño número de laboratorios. La idea es que comunidades con valores diferentes co‑crearán y revisarán normas, permitiendo ajustes según cambien los contextos culturales y sociales.

El documento plantea que, una vez que la IA sea suficientemente segura, el próximo reto será convertirla en una herramienta que mejore la vida humana, más que en un mero mecanismo de prevención de daños.

Qué implica todo esto para tu negocio

• Si tu empresa depende de simulaciones de alta precisión (p. ej. aeroespacial, energía o construcción), revisa los procesos de integridad de software. La existencia de un malware como fast16 demuestra que la alteración de resultados puede pasar desapercibida y afectar decisiones críticas.
• Al entrenar modelos internos, considera probar optimizadores alternativos como Aurora, especialmente si notas inestabilidad durante el calentamiento. La pérdida de neuronas puede traducirse en modelos menos robustos y mayores costos de retraining.
• Finalmente, al incorporar IA en productos o servicios, piensa más allá de la seguridad. Evalúa si la herramienta contribuye al desarrollo de competencias y bienestar de los usuarios, y busca proveedores que adopten prácticas de alineación positiva.

En un entorno donde el software de bajo nivel puede sabotear cálculos, los algoritmos de entrenamiento pueden deteriorar el aprendizaje automático y la IA segura aún no garantiza un impacto positivo, la combinación de vigilancia técnica, elección de herramientas y una visión alineada con el valor humano será la diferencia entre simplemente sobrevivir y prosperar.

Futuro cercano

Los hallazgos de fast16, la aparición de Aurora y la agenda de alineación positiva sugieren que la próxima década estará marcada por una mayor consciencia de los efectos colaterales de la IA, tanto en la infraestructura crítica como en la experiencia del usuario. Las organizaciones que anticipen esos riesgos y adopten enfoques proactivos estarán mejor posicionadas para aprovechar la IA como motor de crecimiento sostenible.