El juego es simple: dada una página inicial y una final de Wikipedia, hay que saltar de una a otra usando solo los enlaces internos. Groucho Marx → ecuaciones lineales. Germanium → roca sedimentaria. Lo que parece un pasatiempo se ha convertido en banco de prueba riguroso para medir si los grandes modelos de lenguaje (LLM) entienden la estructura del conocimiento o solo repiten patrones estadísticos.
Dos investigaciones independientes —una del Alan Turing Institute y otra de la Universidad de Roma Tor Vergata— ponen a GPT-4o, GPT-o3 mini, Llama 3.1, QwQ:32B y DeepSeek-R1:70B a jugar al WikiGame en condiciones controladas. Los resultados dibujan un mapa de capacidades y riesgos que todo ejecutivo latinoamericano que evalúe RAG, agentes o búsqueda semántica debería tener sobre la mesa.
Navegación sin mapa: el espejismo del razonamiento
Investigadores del Turing Institute construyeron grafos locales masivos de Wikipedia (seis millones de artículos, 300 millones de enlaces en inglés) y de OpenAlex (literatura académica) para probar modelos sin depender de APIs externas. Evaluaron cinco idiomas y compararon contra humanos y TF-IDF.
La conclusión central: ningún modelo supera significativamente a los humanos, aunque los mejores (GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B) alcanzan tasas de éxito comparables. Pero el diablo está en la varianza: el rendimiento y el ranking cambian según el idioma y el dominio temático. Un modelo que brilla en física en inglés puede fallar en biología en portugués.
El grupo de Roma fue más allá: diseñó tres modalidades experimentales sobre ~4.000 pares inicio-fin jugados por humanos reales:
- Navegación a ciegas: el modelo solo conoce título de origen y destino; debe generar la ruta completa sin ver enlaces disponibles.
- Chain-of-Thought: igual que arriba, pero el modelo explica su razonamiento en cada paso.
- Con enlaces visibles: en cada salto se le entregan los enlaces salientes de la página actual, simulando al jugador humano.
En la modalidad con enlaces, los LLM igualan o superan la precisión humana. Pero en navegación a ciegas —la que prueba conocimiento estructural internalizado— la brecha se abre. Los errores no son aleatorios: alucinan enlaces inexistentes entre páginas reales y inventan páginas que no están en Wikipedia. El modelo "sabe" que Germanium y roca están relacionados, pero no sabe que el camino real pasa por Mineral → Corteza terrestre → Roca (geología). Inventa atajos semánticamente plausibles pero topológicamente falsos.
El problema no es recuperación, es planificación
Los modelos de embeddings (sentence transformers) operan por codicia: en cada paso eligen el enlace más cercano semánticamente al objetivo. Eso falla cuando el camino óptimo requiere alejarse temporalmente del target —lo que los humanos hacen intuitivamente.
Los LLM deberían poder planificar. La evidencia sugiere que a veces lo hacen (el CoT mejora rutas), pero su razonamiento se degrada fuera de la distribución de entrenamiento. El artículo del Turing Institute cita trabajos que muestran cómo la capacidad de planificación de los LLM "se deteriora rápidamente una vez fuera de ejemplos vistos en entrenamiento". En el WikiGame, eso se traduce en rutas válidas en dominios familiares y alucinaciones en dominios técnicos o poco representados.
Para una empresa latinoamericana que quiera desplegar un agente que navegue su base de conocimiento interna (manuales, tickets, regulaciones), la lección es clara: no confíes en la planificación implícita del LLM. Si el grafo de tu conocimiento no está explícito y accesible paso a paso (modo "con enlaces"), el modelo inventará atajos que no existen en tu documentación.
Multilingüidad: el talón de Aquiles oculto
La investigación del Turing probó cinco idiomas de Wikipedia. El paper de Roma trabajó principalmente en inglés. Ninguno desglosa resultados para español o portugués con la granularidad necesaria. Pero la varianza reportada entre idiomas y temas es una señal de alerta: el rendimiento en lenguas de bajos recursos —o en dominios técnico-legales locales— puede ser significativamente peor que en inglés general.
Si tu caso de uso es navegación normativa en español mexicano, jurisprudencia colombiana o documentación técnica en portugués brasileño, los benchmarks públicos (MMLU, GPQA, incluso WikiGame en inglés) no son predictivos. La única vía es evaluar in-house con tu propio grafo y tus propios pares inicio-fin representativos.
Wikipedia se está contaminando: el bucle de retroalimentación
Mientras los investigadores usan Wikipedia como ground truth para evaluar modelos, un tercer estudio (Huang et al., publicado en Transactions on Machine Learning Research, febrero 2026) demuestra que Wikipedia ya lleva huella de LLM.
Analizando revisiones de 2018-2025 en ocho categorías (Arte, Biología, CS, Química, Matemáticas, Filosofía, Física, Deportes), detectan un impacto estimado de ~1% en el texto completo de ciertas categorías tras la adopción masiva de LLM (2023 en adelante). La metodología: usan GPT-4o-mini para reescribir artículos destacados, miden qué palabras aumentan su frecuencia ("crucial", "additionally", marcadores de estilo LLM), y extrapolan la tendencia natural pre-LLM para aislar el efecto causal.
Las consecuencias son dobles:
1. Benchmarks contaminados: Flores-101 (traducción automática) extrae frases de Wikipedia. Si esas frases ya tienen estilo LLM, los modelos entrenados con datos recientes "reconocen" su propia salida y sus scores se inflan artificialmente, pudiendo invertir rankings relativos entre modelos. 2. RAG menos efectivo: Experimentos de simulación muestran que contenido de Wikipedia procesado por LLM es menos útil para RAG que el contenido original humano. La redundancia, la verbosidad y la pérdida de especificidad factual degradan la precisión de recuperación.
Qué significa para la decisión de compra o desarrollo
Tres implicaciones operativas inmediatas:
1. Exige evaluación con enlaces visibles (link-aware). Si vas a usar un LLM para navegar grafos de conocimiento (documentación, código, regulaciones), dale la lista de vecinos válidos en cada paso. La modalidad a ciegas es un benchmark académico; en producción, el grafo existe y debe constreñir al modelo.
2. Audita tus fuentes de verdad. Si tu RAG indexa Wikipedia, Common Crawl, o datasets derivados (Flores, SQuAD, HotpotQA), asume contaminación. Los papers de Huang et al. y el propio Turing Institute ponen su código y grafos en GitHub (Turing, Roma, Huang): úsalos para replicar la detección de estilo LLM en tu corpus.
3. No descartes modelos abiertos por tamaño. QwQ:32B y DeepSeek-R1:70B compiten con GPT-4o en navegación estructurada. Para despliegues on-premise o en nube soberana (requisito creciente en banca y sector público latam), la relación costo-capacidad de modelos abiertos cuantizados (4-bit, 8-bit) puede ser superior a APIs cerradas, siempre que valides en tu grafo y tu idioma.
El juego no ha hecho más que empezar
Wikipedia cumple 25 años. Sobrevivió a Google, YouTube, redes sociales, móvil y streaming sin inversores ni publicidad. Su nuevo desafío es no convertirse en eco de los modelos que ella misma ayudó a entrenar. El WikiGame, nacido como diversión humana, se revela como el canario en la mina: si los LLM no pueden navegar su estructura sin alucinar enlaces, y si su propia salida contamina el grafo, el ciclo virtuoso "datos humanos → modelos → mejores datos" se rompe.
Para el ejecutivo que decide hoy: trata la navegación de grafos como ingeniería, no como magia emergente. Exige restricción estructural, evalúa en tu idioma y tu dominio, y monitoriza la pureza de tus fuentes. El conocimiento no es solo lo que el modelo dice; es lo que el grafo permite recorrer.
