Agentes completan la ingeniería pero fallan en la investigación científica según NeurIPS

La promesa más ambiciosa de la industria —que la IA pronto se mejore a sí misma sin supervisión humana— choca contra una barrera concreta: los agentes actuales no saben hacer investigación abierta. Un estudio de Princeton, el UK AI Security Institute y otros centros sometió a modelos frontera a "evaluaciones en la sombra": les dieron la pregunta central de dos papers inéditos de NeurIPS 2026, seis días y miles de dólares en cómputo. Los agentes completaron la ingeniería sin ayuda humana, pero ambos papers fueron rechazados por sus autores originales con notas de 1 a 2 sobre 6.

Cinco fallos sistémicos

El análisis de los logs revela patrones repetidos que no dependen del modelo ni del andamiaje:

• Juicio pobre sobre el estándar publicable: falsificaban hipótesis con datasets pequeños o sintéticos y presentaban resultados negativos poco potentes como hallazgos sustantivos.
• Desconocimiento de recursos: terminaron gastando menos del 50% del presupuesto de API y tiempo, sin aprovechar la capacidad restante.
• Respuesta poco creativa a críticas: ante revisiones negativas de sub-agentes, solo añadían caveats en lugar de rediseñar el enfoque.
• Retroceso inefectivo: abandonaban sus metas más ambiciosas en las primeras diez horas y no cambiaban de estrategia después.
• Deriva de instrucciones: ignoraban reglas explícitas sobre duración de exploración, frecuencia de revisiones y límites de extensión.

Una prueba de robustez con GPT-5.6 Sol y su andamiaje nativo Codex reprodujo casi todos los fallos, lo que sugiere que no son artefactos de un scaffold débil.

Ingeniería sí, ciencia no

Publicada en arXiv, la taxonomía de 1.250 papers (2024-2026) ordena el campo en dos ejes: qué mejora el sistema (comportamiento en despliegue, política de entrenamiento, evaluador o proceso de investigación) y grado de cierre del bucle (humano en el bucle, humano sobre el bucle, bucle cerrado). La literatura masiva —74 % de 2026— se concentra en autorefinamiento acotado: bucles convergentes con evaluador externo fijo. La automejora recursiva abierta —que modifica sus propios criterios— sigue teórica.

En el evaluador radica el cuello de botella recurrente. Cada categoría vive o muere por la fiabilidad de su señal de mejora: verificadores formales (fuertes), jueces LLM, modelos de recompensa, autoevaluación intrínseca (débil). La fuerza demostrada de la automejora sigue esa jerarquía. Los modos de fallo —bucles auto-confirmatorios, colapso de modelo, colapso de diversidad— surgen cuando se violan esos requisitos.

Qué dicen los laboratorios vs. qué mide la evidencia

Anthropic reporta que Claude escribe más del 80 % de su código fusionado. OpenAI dijo que GPT-5.3-Codex fue instrumental en crear GPT-5.3. Google DeepMind mostró AlphaEvolve descubriendo algoritmos para chips y scheduling. Sakana AI y UBC publicaron Darwin Gödel Machines que reescriben su propio código de agente. Pero todos mantienen humanos decidiendo qué problemas resolver y validando resultados. Nathan Lambert (Allen Institute) propone "automejora con pérdidas": fricción creciente que frena el volante porque los sistemas son más complejos y costosos.

Implicación para América Latina

Para empresas de la región, la lección es operativa: no diseñen roadmaps asumiendo que la IA se autoinvestigará. La automatización útil hoy es acotada: generación de código, optimización de hiperparámetros, reproducción de experimentos (benchmarks como MLE-Bench, RE-Bench, CORE-Bench). Eso ya entrega ROI medible. La investigación abierta —elegir hipótesis, decidir qué evidencia basta, pivotar ante callejones sin salida— sigue requiriendo juicio humano senior.

En Brasil, Chile y México, la regulación emergente pide trazabilidad y supervisión humana en sistemas de alto riesgo. Alinear la arquitectura a "humano sobre el bucle" (señal automática con auditoría de resultados) cumple ambos frentes: captura ganancias de ingeniería y satisface exigencias de gobernanza. Apostar por bucles cerrados prematuros expone a fallos silenciosos que el estudio documenta: papers que parecen coherentes pero no resisten auditoría experta.

Instrumentar evaluadores confiables (verificadores formales, suites de test, rúbricas auditables) es el próximo paso medible, no "IA que hace IA", para que la automatización acotada escale sin derivar. Mientras la industria promete el cierre del bucle, la evidencia dice: la ingeniería ya funciona; la ciencia, no.