Para entender lo que está pasando en el mundo del software científico, vale la pena empezar con un dato incómodo: el 74% de los archivos de código R publicados en repositorios académicos falla en su primera ejecución. El número, que sale de un estudio de la Universidad de Harvard sobre más de 2.000 paquetes de replicación, es una instantánea de un problema endémico que la inteligencia artificial está empezando a desarmar.
Lo que el estudio de Harvard —publicado en Scientific Data en 2022— encontró es que la mayoría del código que acompaña a los papers científicos está escrito por equipos pequeños, bajo presión por publicar y sin presupuesto para mantenimiento. El resultado: scripts que funcionaron una vez, para una gráfica, con una versión específica de una librería, y después quedaron abandonados. El 56% seguía fallando incluso después de aplicar una limpieza automatizada básica.
Ahí es donde entran los agentes de código. OpenAI acaba de publicar un informe de campo donde documenta ocho proyectos de cómputo científico que usaron sus modelos Codex —y en tres casos, una combinación de Codex con Claude de Anthropic— para rescatar y optimizar ese tipo de software. Los resultados, aunque preliminares, sugieren que por primera vez hay una herramienta capaz de abordar la deuda técnica científica a una escala que antes requería ejércitos de ingenieros que nadie financia.
De errores de instalación a optimizaciones de 31%
Los proyectos abarcan desde genómica hasta estadística y secuenciación de ARN. En uno de los casos, un desarrollador que se define a sí mismo como “ni especialista en genómica ni programador C” logró reducir en 31% el tiempo de ejecución de un simulador de lectura de ADN, manejado por agentes en dos rondas de optimización. El resultado, dijo, fue “nada menos que mágico” desde la perspectiva del usuario final.
En otro proyecto, el agente reemplazó el sistema de compilación de una librería de lectura de archivos genómicos por uno más moderno. El contribuyente señaló que ir rápido con agentes es una cosa, pero que la ciencia a largo plazo todavía necesita “guía experta, comprensión, gusto y cuidado”.
El informe de OpenAI reconoce que se trata de casos de estudio escritos por los propios contribuyentes —no de un experimento controlado—, y que los agentes no resolvieron de forma autónoma tareas de implementación completa en los benchmarks más exigentes. Pero el patrón es consistente: los agentes son más efectivos cuando el resultado deseado se puede verificar contra una referencia externa, como salidas byte a byte idénticas o una batería de tests preexistente.
El problema no es solo escribir código, es mantenerlo
Para el ecosistema científico, el cuello de botella nunca fue la falta de ideas, sino la falta de ingeniería sostenida. El estudio de Harvard encontró que la mayoría de los paquetes de replicación pesan menos de 10 MB y contienen menos de 15 archivos. Son proyectos pequeños, pero su fragilidad los vuelve inutilizables para cualquiera que no sea su autor original.
Los agentes de IA ofrecen una vía para cerrar esa brecha. En los casos documentados por OpenAI, los humanos concentraron su esfuerzo en el marco de verificación y en la interpretación de los resultados, mientras los agentes se encargaban de la optimización y reescritura. En la práctica, los científicos pasaron de ser ingenieros de software a gerentes de producto de sus propias herramientas.
¿Qué significa esto para América Latina? En la región, donde los grupos de investigación suelen ser aún más pequeños y con menos acceso a ingenieros de software dedicados, la capacidad de delegar tareas de mantenimiento y optimización a agentes podría nivelar la cancha. Un laboratorio en Chile o Brasil que desarrolla una herramienta bioinformática podría, en teoría, mantenerla viva sin depender de un financiamiento perpetuo para un programador full-time.
Pero también hay riesgos. El informe de OpenAI advierte que los agentes pueden introducir errores —simplificaciones inapropiadas o alteraciones del flujo lógico— que solo se detectan con datos reales, no con los sintéticos de prueba. Para un investigador que no tiene un equipo de validación, confiar ciegamente en un agente podría generar resultados incorrectos que pasen desapercibidos.
El benchmark que nadie pasa
Para poner las cosas en perspectiva, existe un benchmark llamado SciCode, creado por científicos de 16 subdisciplinas, que mide la capacidad de los modelos para generar código científico real. En el escenario más realista, el mejor modelo —Claude 3.5 Sonnet— resuelve solo el 4.6% de los problemas. GPT-4o apenas llega al 1.5%. Incluso con información de fondo proporcionada, el mejor modelo no supera el 12.3%.
Eso significa que los agentes aún están lejos de reemplazar el criterio científico. Pero lo que sí pueden hacer —y están haciendo— es ocuparse de las tareas que nadie quiere hacer: actualizar dependencias, reescribir build systems, optimizar loops. En un campo donde el 74% del código ya está roto, cualquier mejora es bienvenida.
