Opinión Anthropic's AAR beats human experts on safety benchmarks at $4 per hour
Anthropic muestra avances en alineación automática, pero un estudio de Princeton revela que los agentes fallan en investigación creativa. La brecha define la estrategia empresarial.
Los titulares venden la llegada de la inteligencia artificial que se escribe a sí misma. Anthropic acaba de publicar un artículo donde su Investigador de Alineación Automatizado (AAR) supera a expertos humanos en diez benchmarks de seguridad, a 4 dólares la hora frente a 150. El sistema itera, descarta lo que no funciona y mejora métricas sin degradar el rendimiento general. Sobre el papel, es el primer escalón de la mejora recursiva: modelos que afinan su propio entrenamiento sin intervención humana.
Pero la euforia choca con un muro de realidad. Un estudio de la Universidad de Princeton, liderado por Peter Kirgis y Sayash Kapoor, sometió a Claude Opus 4.8 a una prueba distinta: investigación abierta, sin respuestas conocidas, del tipo que se publica en NeurIPS. A los agentes se les dio seis días, 3.000 dólares en créditos, GPUs y acceso a la web. Resultado: los autores originales rechazaron ambos artículos. Los agentes ejecutaron la ingeniería —revisaron literatura, corrieron cientos de experimentos, ordenaron datos—, pero fracasaron en la investigación propiamente dicha. Se encerraron en enfoques poco prometedores, no supieron pivotar de fondo, redujeron sus afirmaciones en lugar de cambiar de método y no incorporaron retroalimentación externa de forma útil.
La distinción es crítica para quien toma decisiones de inversión. Lo que Anthropic demuestra es optimización dentro de un espacio definido: dada una métrica clara, el sistema encuentra el camino más eficiente. Lo que Princeton expone es la ausencia de juicio creativo: la capacidad de formular la pregunta correcta, descartar el paradigma vigente o reconocer que el benchmark mismo está mal planteado. Jack Clark, cofundador de Anthropic, lo llamó "señal bajista" para los plazos cortos de auto-mejora recursiva.
Para un director de tecnología o un consejero delegado en Latinoamérica, la lección no es que la mejora automática sea humo. Es que opera en dos carriles de velocidad distinta. El carril rápido —scaffolding improvement, en la terminología del survey de arXiv de julio— actualiza prompts, memoria, herramientas y lógica de control. Es barato, reversible y ya está en producción: agentes que reescriben sus propias instrucciones, crean scripts de automatización o ajustan workflows de software engineering. El carril lento —foundation model improvement— exige reentrenar pesos, validar en entornos abiertos y, sobre todo, definir qué significa "mejor" cuando no hay métrica consensuada.
Confundir ambos es la trampa estratégica. Una empresa que apueste su hoja de ruta a que los modelos inventarán la próxima arquitectura transformer en 2027 está apostando a la creatividad que hoy no existe. Una que use la optimización automática para reducir costes de fine-tuning, limpiar datasets o endurecer guardrails de seguridad está capturando valor real hoy mismo.
El dilema del billón de dólares, como lo resume Kapoor, es si la inteligencia transformadora necesita saltos creativos o basta con escalar la optimización acotada. La historia del deep learning sugiere que los breakthroughs —transformers, diffusion, RLHF— nacieron de intuiciones humanas que ningún benchmark premiaba. Hasta que un agente sea capaz de proponer un experimento que parezca absurdo a los revisores y demostrar que cambia el paradigma, la auto-mejora recursiva seguirá siendo una poderosa herramienta de ingeniería, no un motor de descubrimiento científico.
Desplegar la optimización automática en todo lo que tenga métrica clara y coste humano alto, y reservar el talento escaso —investigadores, arquitectos, product leads— para los problemas donde el benchmark aún no existe, es la apuesta sensata.
