Imaginemos que su equipo acaba de adquirir una suscripción a GPT-5.6, el modelo que OpenAI presenta como capaz de resolver conjeturas matemáticas abiertas y vencer juegos complejos. Todo va bien hasta que alguien decide probarlo en el benchmark ARC-AGI-3, una serie de puzles bidimensionales que cualquier humano resuelve en minutos. El resultado: 7,8%. Casi un fracaso. Lo curioso es que el problema no estaba en el modelo, sino en cómo lo estaban haciendo conversar.
OpenAI publicó hace unos días un post que sacudió la conversación sobre benchmarks. Al activar dos parámetros de su API —lo que llaman retained reasoning y compaction— la puntuación de GPT-5.6 saltó a 38,3%, más del triple, y además consumió seis veces menos tokens de salida. El primer ajuste le permite al modelo recordar sus propias cadenas de razonamiento entre acciones; el segundo comprime el historial para no perder información cuando el contexto se alarga. En otras palabras: el modelo no era tonto, solo estaba operando con una mano atada y sin memoria de lo que acababa de pensar.
El problema de los puzzles que nadie resolvía
ARC-AGI-3 es un benchmark diseñado para medir la capacidad de un agente de aprender reglas de juego sin instrucciones previas. El agente ve una cuadrícula de 64x64 píxeles, puede mover un cursor, seleccionar objetos y debe inferir la mecánica probando acciones. No hay etiquetas, no hay objetivo explícito, no hay demostraciones. Los modelos de frontera —incluyendo versiones anteriores de GPT— lograban 0% en su lanzamiento. Los humanos, en cambio, alcanzan un 48% de eficiencia de acción (RHAE).
OpenAI descubrió que la versión estándar del harness de prueba descartaba el razonamiento interno después de cada acción y usaba un truncamiento rodante que borraba las acciones más antiguas. Es como si a un empleado le borraran la pizarra cada cinco minutos y le dijeran que empiece de cero. Al conservar el razonamiento y compactar el contexto, el modelo no solo mejoró su puntuación sino que empezó a mostrar estrategias coherentes.
Pero aquí viene el giro. Mientras OpenAI optimizaba su API, un equipo de la Universidad de Toronto publicó un paper con un enfoque completamente distinto. Bautizado OPINE-World, su agente no depende de ajustes de inferencia en el modelo base, sino que separa la exploración (un agente que actúa) de la síntesis de modelos (otro agente que escribe código). El agente sintetiza un modelo del mundo en Python, lo verifica repitiendo exactamente cada transición observada, y usa una medida bayesiana para decidir qué objetos explorar. En ARC-AGI-3, OPINE-World resuelve 20 de 25 juegos sin entrenamiento previo y alcanza un 78,4% de eficiencia, superando ampliamente a los modelos base y a la propia versión tuneada de OpenAI.
Dos botones y un agente que piensa solo
La moraleja de esta historia es doble. Por un lado, los ajustes de inferencia se están convirtiendo en funciones de producto de primera clase. Si su empresa usa la API de OpenAI para flujos agentivos, asistentes de programación o sistemas de soporte a decisiones, no puede asumir que la configuración por defecto es la óptima. Activar retained reasoning y compaction puede marcar la diferencia entre un asistente que olvida lo que hizo hace tres pasos y uno que construye una estrategia.
Por otro lado, el caso de OPINE-World muestra que el futuro no está solo en mejorar modelos monolíticos, sino en arquitecturas que separen el conocimiento del mundo del motor de razonamiento. Para las empresas latinoamericanas que buscan automatizar procesos complejos —desde logística hasta atención al cliente—, esto sugiere que vale la pena evaluar soluciones basadas en agentes autónomos con modelos de mundo programáticos, que además son inspeccionables y reutilizables, algo que los modelos de caja negra no ofrecen.
El riesgo, por supuesto, es el benchmark chasing: optimizar para una prueba sin que eso se traduzca en mejoras reales en el negocio. El propio artículo de Towards Data Science advierte que los proveedores pueden perseguir puntuaciones altas en vez de construir inteligencia genuina. Para un ejecutivo en São Paulo o Ciudad de México, la lección es práctica: antes de comparar modelos por números de benchmarks, revise si su propia carga de trabajo se beneficia de retener razonamiento, si necesita un agente que aprenda en línea o si le alcanza con un prompt bien afinado.
La próxima vez que vea un número de benchmark, pregúntese: ¿qué configuración lo produjo? En un mercado donde cada token cuenta, saber eso puede ser la diferencia entre un modelo que parece brillante y uno que realmente funciona.
