Investigación Cerrar la brecha de datos impulsa la IA en lenguas minoritarias
Los LLMs requieren 100.000 veces más datos que un niño para hablar. Investigaciones en BabyLM y memoria 'efímera' muestran que imitar límites cognitivos humanos mejora el aprendizaje con pocos datos: clave para idiomas minoritarios y costos en la región.
Un niño de tres años habla con fluidez después de escuchar unos 30 millones de palabras. Meta entrenó Llama 3.1 con 15 billones de tokens: el equivalente a la lengua que una ciudad entera genera en una generación. Si imprimieras esos datos, la pila de papel superaría la Estación Espacial Internacional; la del niño apenas alcanza 20 metros.
Esa distancia se llama brecha de eficiencia de datos y no es solo una curiosidad académica. Para América Latina, donde los corpus en español, portugués, quechua o guaraní son una fracción del internet en inglés, y donde alquilar GPUs en la nube cuesta dólares que muchas startups no tienen, cerrar esa brecha define si la IA generativa se democratiza o sigue siendo privilegio de Big Tech.
El experimento BabyLM: cuando imitar a los niños no funciona como se esperaba
Hace cuatro años, el lingüista Alex Warstadt lanzó BabyLM: un concurso anual para entrenar modelos con apenas 100 millones de palabras —el "corpus desarrollo plausible" de un preadolescente— extraídos de cuentos, diálogos, subtítulos y Wikipedia simple. La idea era probar hipótesis de adquisición del lenguaje en silicio.
La intuición más popular fue curriculum learning: empezar con frases simples y subir la complejidad, como hace un padre con su bebé. "El atractivo es difícil de resistir", admite Aaron Mueller, organizador del concurso. "Pero los transformers no necesitan que les ordenes los datos así para aprender". El ganador de 2024, GPT-BERT, combinó predicción de siguiente token y completación de huecos al estilo BERT. Superó a Llama 2 70B —entrenado con 15.000 veces más datos— en uno de los benchmarks gramaticales. Aun así, los modelos BabyLM siguen siendo torpes para generar texto coherente; su aprendizaje no es muy "bebé".
Olvidar a propósito: la memoria efímera como feature, no bug
Un estudio del Instituto Max Planck de Psicolingüística sugiere que la clave no es qué datos das, sino cómo los retienes. Abishek Thamma y Micha Heilbron introdujeron "memoria efímera" en Transformers: un buffer ecoico de 3 a 7 palabras que se desvanece rápido, imitando la limitación humana de retener formas exactas. El resultado: los modelos con decaimiento de memoria aprendieron gramática mejor y generalizaron más fuerte en el benchmark BabyLM.
Paradójicamente, esa misma limitación empeoró la predicción de tiempos de lectura humana. "Los factores que apoyan el aprendizaje efectivo difieren de los que modelan el procesamiento online", concluyen. En criollo: hacer que la IA aprenda como niño no significa que procese como niño.
La factura energética que nadie paga (pero todos pagamos)
Mientras la investigación busca eficiencia algorítmica, la factura la pone el hardware. El modelo LLMCarbon, presentado en ICLR 2024, calcula la huella de carbono end-to-end de LLMs densos y MoE: entrenamiento, inferencia, experimentación, almacenamiento, carbono operativo y embodied. Validado contra datos de Google, su error es ≤ 8,2 %. La lección: el carbono embodied (fabricar GPUs/TPUs) ya ronda el 50 % del operativo en un datacenter de Meta. Cada vez que escalamos parámetros para compensar ineficiencia de datos, amplificamos ambos.
¿Qué significa para un CTO en Bogotá, México o São Paulo?
- Idiomas de bajos recursos: un modelo que aprenda con 10 millones de palabras en quechua o criollo haitiano cambia la economía de la inclusión lingüística. BabyLM y memoria efímera apuntan ahí.
- Costo de entrada: entrenar un modelo "chico pero listo" en GPUs propias o alquiladas por horas —no meses— baja la barrera para startups y universidades de la región.
- Soberanía de datos: si necesitas menos corpus público, dependes menos de scraping masivo y de la buena voluntad de plataformas extranjeras.
- Regulación incipiente: Brasil y Chile ya discuten obligaciones de reporte de huella de carbono para IA. LLMCarbon da la herramienta para auditar antes de comprar.
En una ironía final, la IA más cara de la historia intenta replicar al aprendiz más barato y eficiente que conocemos. Mientras los laboratorios persiguen el scaling por fuerza bruta, la ventaja competitiva en Latam puede estar en apostar por lo pequeño, lo multimodal y lo que olvida a propósito. La próxima vez que veas a un niño de dos años formando oraciones recursivas sin haber leído todo internet, pregúntate: ¿estamos construyendo la arquitectura correcta o solo comprando más GPUs?
