En su comunicación pública, OpenAI asegura que los coding agents están remodelando la investigación interna de IA. La frase suena a eslogan de laboratorio, pero dos estudios independientes, uno de Princeton en colaboración con el UK AI Security Institute y otro de Meta, permiten leerla con precisión: los agentes ya resuelven buena parte de la ingeniería, pero la parte científica todavía los supera. Esa brecha define el momento.
La brecha entre ingeniería y ciencia
El equipo de Princeton, junto a varios institutos de seguridad de IA, probó si un agente de frontera podía responder la pregunta central de dos papers inéditos de alta calidad presentados a NeurIPS 2026. El método, al que llaman shadow evaluation, consiste en tomar una pregunta de investigación aún no publicada, dársela a un agente con recursos generosos y pedirle a los autores originales que califiquen el resultado como si fuera una submission a conferencia. Así se evita la contaminación por datos ya conocidos y se consigue un revisor con conocimiento profundo del problema exacto.
Los agentes recibieron seis días de tiempo real, tres mil dólares en créditos de API de Anthropic, acceso a GPU, una máquina virtual y navegación web abierta. El resultado fue contundente: completaron toda la ingeniería sin ayuda humana, pero no lograron avances sustanciales hacia responder las preguntas de investigación. Ambos papers fueron rechazados sin ambigüedad por los autores originales.
El estudio identifica cinco fallas recurrentes: mal juicio sobre lo que califica como publicable, respuestas poco creativas ante problemas de diseño, incapacidad para retroceder cuando una línea de trabajo muere, mala gestión de los recursos disponibles y desviación de las instrucciones. Lo más revelador es que los agentes terminaron usando menos de la mitad del presupuesto asignado, aun cuando podían monitorear su propio gasto y se les pidió explícitamente aprovecharlo.
La evidencia de Meta apunta en la misma dirección. Su framework MLGym, presentado como el primer entorno tipo Gym para tareas de investigación en machine learning, evalúa a modelos de frontera como Claude-3.5-Sonnet, Llama-3.1 405B, GPT-4o, o1-preview y Gemini-1.5 Pro en trece tareas abiertas que van desde visión por computadora hasta teoría de juegos.
El benchmark clasifica la capacidad de los agentes en seis niveles, desde reproducir papers hasta mantener una agenda de investigación de largo plazo. El resultado: los modelos actuales mejoran las líneas base existentes, casi siempre afinando hiperparámetros, pero no generan hipótesis nuevas, algoritmos originales ni arquitecturas novedosas. Es decir, operan bien en el nivel uno de la escala, el de mejora de una solución dada, y se quedan lejos del nivel que exige una contribución científica.
Lo que sí pueden hacer hoy: limpiar el código que ya existe
Que los agentes no hagan ciencia original no significa que no tengan valor práctico. Aquí entra el dato más útil para quienes dirigen equipos técnicos. Un estudio de Harvard Dataverse analizó más de dos mil paquetes de replicación con más de nueve mil archivos R publicados entre 2010 y 2020. Descubrieron que el 74 % de esos archivos fallaba al ejecutarse en un entorno limpio. Con una limpieza automática de código, que elimina rutas absolutas, estandariza codificaciones e importa librerías, el porcentaje de fallas baja a 56 %. Es una muestra concreta de que buena parte del problema de reproducibilidad no es conceptual, sino de higiene técnica.
OpenAI ha puesto el foco en ese mismo punto al difundir material sobre cómputo científico con agentes, y no es casualidad que recurra a este tipo de estudios: la oportunidad inmediata de los agentes no está en descubrir conocimiento nuevo, sino en hacer que el conocimiento ya publicado pueda volver a ejecutarse. Para una empresa o una universidad, eso significa liberar horas de investigadores que hoy pierden tiempo tratando de entender código ajeno.
Qué significa para América Latina
Para una organización de la región, la lección es doble. Por un lado, invertir en agentes para automatizar el trabajo repetitivo de ingeniería y mantenimiento de código es viable hoy. Frameworks abiertos como MLGym permiten probar modelos sin depender de la infraestructura de un laboratorio de frontera, y el costo de una evaluación tipo shadow, del orden de miles de dólares en créditos de API, es alto pero acotado. Por otro lado, delegar la pregunta de investigación a un agente sigue siendo un error: la evidencia muestra que no saben cuándo un problema está resuelto, no exploran direcciones incómodas y no administran bien el presupuesto. En un ecosistema con recursos escasos, esa distinción evita desperdiciar dinero en autonomía que todavía no existe.
La ventaja competitiva de América Latina no estará en tener agentes que escriban papers, sino en usarlos para subir el piso de calidad del código científico. Con el 74 % de los archivos R fallando en una primera ejecución, cualquier mejora en higiene de datos y reproducibilidad libera horas humanas para lo que los agentes no pueden hacer: elegir hipótesis, reconocer el fracaso y cambiar de rumbo. La pregunta que debería hacerse cada líder tecnológico no es si su equipo va a ser reemplazado por un agente, sino si su organización tiene el criterio humano y los datos ordenados para que ese agente sea realmente útil.
