Investigación Cuatro startups desafían el reinado de los transformers en IA
Nuevas arquitecturas como atención dispersa, difusión y redes líquidas buscan derribar el cuello de botella que frena a los modelos de lenguaje actuales. Implicaciones para costos, eficiencia y adopción en Latinoamérica.
Nueve años después de que Google publicara “Attention Is All You Need”, el transformer sigue siendo el motor de todos los grandes modelos de lenguaje del mercado. Pero ese motor empieza a mostrar fatiga. A medida que los LLMs crecen en tamaño y ambición —procesar bibliotecas enteras, ejecutar agentes autónomos o razonar durante semanas— el mecanismo de atención densa se vuelve un cuello de botella computacional y energético. OpenAI proyecta gastar 50 mil millones de dólares en cómputo este año, y la Agencia Internacional de Energía pronostica que el consumo eléctrico de los centros de datos se duplicará para 2030.
Ante este escenario, un puñado de startups está proponiendo alternativas que podrían redefinir la arquitectura de los LLMs. No se trata de reemplazar los modelos de lenguaje, sino de transformar cómo se construyen. El concepto ha sido bautizado como LLMs+ por MIT Technology Review, y lo que está en juego es si la próxima generación será más barata, más rápida y capaz de resolver problemas que hoy están fuera del alcance de los transformers.
Subquadratic, con sede en Miami, apuesta por la atención dispersa. Su modelo SubQ decide en tiempo real qué palabras de un texto son relevantes y cuáles no, reduciendo drásticamente el número de cálculos necesarios. La compañía afirma que su mecanismo es el primero de su tipo en igualar el rendimiento de los transformers en tareas como búsqueda y generación de código. Miles de usuarios ya están en lista de espera, aunque parte de la industria mantiene escepticismo sobre la magnitud del logro.
Manifest AI, desde San Francisco, va un paso más allá: reemplaza la atención por un mecanismo llamado retención de potencia. En lugar de mantener todo el contexto activo, el modelo genera un resumen continuo y descarta la información menos relevante. Han transformado el modelo abierto StarCoder en PowerCoder y lanzaron Brumby, un modelo que compite con versiones de Qwen de Alibaba. La promesa es que esta tecnología permitirá analizar videos de horas de duración o mantener agentes enfocados durante semanas.
Liquid AI, un spin-off del MIT, combina transformers con redes neuronales líquidas inspiradas en el cerebro de gusanos. El resultado son modelos mucho más pequeños: pueden ejecutarse en una Raspberry Pi de 50 dólares y ya equipan vehículos de Mercedes. Sus modelos híbridos, compuestos por 20% de transformers y 80% de redes líquidas, igualan el rendimiento de modelos cuatro veces más grandes. La empresa reporta casi 34 millones de descargas y ofrece sus modelos gratis a organizaciones con ingresos menores a 10 millones de dólares anuales.
Inception, en Palo Alto, aplica difusión —la técnica detrás de generación de imágenes— a la generación de texto. En lugar de producir una palabra a la vez, sus modelos generan párrafos completos simultáneamente. Su modelo Mercury 2 iguala el rendimiento de GPT-4 pero es diez veces más rápido. Google también experimenta con esta ruta con Diffusion Gemma, lo que para el CEO de Inception valida el enfoque: “la moneda de cambio final va a ser inteligencia por dólar”, afirma.
Pathway, también en Palo Alto, adopta el enfoque más disruptivo. Su modelo Dragon Hatchling reemplaza la atención por espacios de estado, una estructura matemática que comprime información en representaciones abstractas, permitiendo razonar sobre problemas que no se expresan bien con palabras. En pruebas con más de 250 mil sudokus extremadamente difíciles, Dragon Hatchling resolvió el 97%, mientras que los principales LLMs no resolvieron ninguno. La tesis es que el lenguaje no es la mejor herramienta para ciertos tipos de razonamiento.
Las alternativas a los transformers comparten un objetivo común: superar el costo cuadrático O(n²) de la autoatención para lograr escalabilidad lineal.
Para las empresas latinoamericanas, este momento de transición abre ventanas concretas. La promesa de modelos que ejecutan en hardware de bajo costo —como los de Liquid AI— podría reducir la dependencia de la nube y sus costos asociados, algo crítico en mercados donde la infraestructura cloud sigue siendo cara o el ancho de banda limitado. Además, la disponibilidad de modelos abiertos que compiten con gigantes propietarios (Brumby compite con Qwen, SubQ con modelos cerrados) permite a startups y equipos de IA locales experimentar sin comprometer presupuestos enteros.
La pregunta para un CTO en la región no es si los transformers desaparecerán mañana, sino si su organización está preparada para evaluar estas nuevas arquitecturas. La eficiencia energética, la capacidad de procesar contextos largos —documentos regulatorios, historiales completos de atención al cliente— y la posibilidad de ejecutar modelos en dispositivos periféricos son atributos que encajan con las necesidades de escalabilidad y costo típicas de los mercados emergentes. Ignorar esta ola podría significar quedar atrapado en la factura eléctrica de modelos que ya no son la opción más inteligente.
