Un equipo de investigadores de la Universidad Estatal de Florida ha identificado la causa raíz de uno de los problemas más incómodos de los modelos de lenguaje grandes (LLMs): su imprevisibilidad. En un artículo publicado en arXiv, los autores demuestran que la inestabilidad numérica —el error de redondeo inherente a la aritmética de punto flotante en GPUs— genera un efecto caótico en las primeras capas de los Transformers, provocando que respuestas idénticas ante la misma consulta puedan divergir por completo.
El estudio documenta que, en sistemas multiagente como AutoGen, el 23 % de las tareas colaborativas no logran converger, y que el 31 % de los planes generados por MetaGPT no son reproducibles incluso usando el mismo hardware y semillas aleatorias. Los investigadores clasificaron el comportamiento en tres regímenes: estable (las perturbaciones se desvanecen), caótico (los errores dominan) y dominado por señal (la entrada real anula el ruido). La frontera entre estos regímenes depende del tamaño de la perturbación inicial, que puede ser tan pequeña como 10⁻¹⁴.
Esta fragilidad técnica coincide con la advertencia que el propio presidente de OpenAI, Bret Taylor, lanzó en una entrevista con The Verge. Taylor afirmó que la inteligencia artificial transformará la economía, pero que "estamos en una burbuja y mucha gente perderá mucho dinero", en una dinámica comparable a la burbuja de las puntocom de finales de los noventa. Es decir, el potencial es real, pero la sobreinversión en productos y startups que no resuelvan estas vulnerabilidades fundamentales provocará pérdidas masivas.
