Los números incomodan. Un niño de tres años entendió suficiente lenguaje escuchando poco más de 30 millones de palabras. Llama 3.1 de Meta fue entrenado con 15 billones de tokens, una escala que en la comparación se vuelve abismal. Esa distancia entre la eficiencia biológica y la brutalidad computacional tiene nombre: brecha de datos. Pero en América Latina, donde los corpus en español, portugués, quechua o guaraní son una migaja de lo que circula en inglés, esa brecha no es una abstracción académica, sino el factor que define si la IA generativa se democratiza o continúe siendo un patio de juego de Big Tech.
La región enfrenta un doble límite. Primero, el cultural: el internet en lenguas originarias es escaso, fragmentado, a menudo oral, y la calidad de los datos digitales importa más que su cantidad. Segundo, el de costos: alquilar GPUs es, para la mayoría de startups locales, una ecuación imposible. Mientras en San Francisco un experimento fallido es un artículo descartable, en Bogotá o São Paulo es una apuesta que compromete meses de operación.
El contraste más cotidiano de esta disyuntiva se está jugando en los laboratorios. La iniciativa BabyLM, que impulsa desde hace años el lingüista Alex Warstadt, corrió el siguiente experimento: entrenar modelos con apenas 100 millones de palabras, el corpus de un preadolescente, provenientes de cuentos, diálogos y subtítulos. La intuición inicial era que dar ejemplos progresivamente más complejos, como se hace con un hijo, sería clave. Pero los transformadores no aprenden así. La investigación desmontó a los propios organizadores: el ganador de 2024, GPT-BERT, combinó predicción de siguiente token con completamiento de huecos y no solo compitió, sino que superó en un examen gramatical a Llama 2 70B, un modelo entrenado con 15.000 veces más datos.
Y a confirmarlo, demostraron que la eficiencia de escala no es el único sendero hacia la competencia lingüística. Que había caminos más cortos, basados en arquitectura y en la forma de retener información, no en la cantidad bruta de insumos.
Llega la ironía de la memoria. Los investigadores del Max Planck de Psicolingüística propusieron pues una variable casi humana: que la máquina aprenda mientras olvida. Incorporaron, a la que llamaron memoria efímera, un búfer de 3 o 7 palabras que se desvanece rápido, imitando las limitaciones atencionales que tenemos al hablar. Los modelos con decaimiento de memoria, los resultados fueron sorprendentes: aprendieron gramática mejor y generalizaron más fuerte. Claro, el mismo límite perjudicó la predicción de los tiempos de lectura de un humano. La conclusión es sutil: los factores que impulsan el efecto aprendizaje no son los mismos que modelan el proceso de interacción real. O sea, hacer que una IA aprenda como un niño no significa que procese como uno, y eso está bien.
Lo que no está bien es la factura que se paga por fuera. El modelo LLMCarbon, presentado en ICLR 2024, calculó la huella de carbono end-to-end de los modelos de lenguaje y su precisión ha sido validada contra datos de Google con un error inferior al 8,2 por ciento. La lección inquietante: el llamado carbono incrustado, que proviene de fabricar GPUs y TPUs, ya representa cerca del 50 por ciento de las emisiones operativas de un centro de datos común de Meta. La demostración simple detrás de esta cifra: cada vez que una empresa decide escalar parámetros para compensar una ineficiencia en los datos, no solo infla su presupuesto de cómputo, también la amortiza el planeta. Para un CTO en México o Santiago, eso se traduce en que la carrera por el modelo más gigante es también una carrera hacia una deuda ambiental y financiera creciente, con retornos decrecientes en capacidades.
¿Cuál es entonces la hoja de ruta para el liderazgo técnico en AMIA? La respuesta es incómoda, porque obliga a separarse de la tendencia dominante. La ventaja competitiva está en un mundo pequeño, multilingüe y, si es el caso, en un modelo que olvida a propósito. El problema infraestructural clave no es encontrar más datos sino aprender a generarlos y curarlos en células comunitarias, como está ocurriendo con la iniciativa Masakhane en África, que articulan redes de voluntariado para construir desde pedestales sin depender del capital global.
La subsidiaria del cloud sigue siendo un filtro de entrada, pero la curva de aprendizaje está siendo aún más restrictiva hasta para los que ya están dentro. No estamos ante una segunda oportunidad de copiar a los gigantes. Estamos ante un momento donde reducir la escala es el nuevo escalar. En lugar de imitar la física bruta, el ecosistema empresarial de América Latina podría tomar la posición de que la brecha de densidad se cierra por dos frentes simultáneos: con representación de datos locales y con eficiencia algorítmica orientada a entornos de baja disponibilidad.
La pregunta incómoda que deben hacerse las compañías regionales es frontal: ¿están comprando más GPUs para compensar la arquitectura que no saben proyectar, o están dispuestas a construir el modelo más modesto y más inteligente? La evidencia de la eficiencia aprendida con 100 millones de palabras no es anécdota. Es la primera señal de que quizás se está llegando al límite del poder. Cuando ves que un niño te gana con 30 millones, la vieja frase de que el talento es nebuloso deja el paso probablemente cierto.
Puestos a los números, la próxima década la dictará quienes hayan entendido que un modelo no se mide por los terabytes, sino por las capacidades que es capaz de desatender. El liderazgo regional no sale de las gigafactorías, sale del laboratorio local que aprende a jugar con pocas fichas, y con todas las ventajas de jugar con esas mismas fichas en vez de comprar todas las del adversario. La conclusión es provocativa: mientras la IA avanzada corre pensando que su ventaja es el volumen, Brasil en la lengua es ahora el activo más estratégico de la industria. ¿Cuál es la arquitectura correcta para las lenguas y las economías colocadas de Latam? Aquella escrita con menos flops y más contexto, no con más presupuesto. La
La IA que va a democratizarse no está en San Francisco, está archivada en el saber coloquial de una región que, para usar el lenguaje, no necesita copiar el infinito del internet; necesita aprender a meditar la propia para construir desde ahí. Ese es el distrito o el código que todavía no se logra dotar: el de la ventaja dentro de la restricción. Así como Cripto se hizo fuerte desafiando la ley de ocquen, la oportunidad del desarrollo estaría en transformar el déficit de datos en el pleno de la arquitectura.
