El diseño de tareas deja de ser un arte para convertirse en ciencia

Richard Sutton, el gurú del aprendizaje por refuerzo, dejó una frase que se convirtió en dogma: la "Lección Amarga" dice que, a largo plazo, los métodos que ganan no son los que codifican más intuición humana, sino los que escalan. Más datos, más cómputo, menos ingeniería. El pre-entrenamiento de modelos fundacionales parece ser la prueba viviente: arquitectura general, datos masivos, un objetivo auto-supervisado simple como predecir la siguiente palabra. Y sin embargo, un nuevo paper de Shuqi Ke y Giulia Fanti, publicado en AI Hub, sostiene que la lección amarga no es tan amarga como creíamos. O al menos, que nos olvidamos de un eslabón: cómo elegimos la tarea de entrenamiento.

La crítica es sutil pero demoledora. El pre-entrenamiento actual escala el aprendizaje, pero la elección del objetivo (qué predecir, qué reconstruir) sigue siendo externa al bucle. Entrenamos un modelo con una pérdida auto-supervisada, evaluamos en downstream, ajustamos la receta y repetimos. Es un lazo de control muy grueso. Lo que proponen Ke y Fanti es un pre-entrenamiento basado en valor con feedback del downstream (V-pretraining): usar un pequeño conjunto de ejemplos verificables de la aplicación final para guiar el entrenamiento mientras ocurre, no después. En lugar de fijar la regla de construcción de la tarea antes de entrenar, la reemplazan con un diseñador entrenado por feedback que adapta la tarea en tiempo real.

Lo que el deporte ya sabe

Si esta idea suena familiar a los entrenadores de fútbol, no es casualidad. Las canchas llevan décadas aplicando una lógica análoga. En la metodología de entrenamiento deportivo, diseñar una tarea no es solo poner a los jugadores a correr. Como explica Grupo Ekipo, una tarea es "una situación simuladora del hecho competitivo, la cual simplificamos para facilitar el umbral de accesibilidad al jugador o para sobre-estimular algún aspecto que nos interese". Es exactamente lo mismo que hace V-pretraining: tomar datos sin etiquetar y convertirlos en un problema de predicción auto-supervisado, pero con la capacidad de ajustar la lente a medida que el aprendiz muestra sus debilidades.

El símil se profundiza cuando se habla de la parte interna y externa de una tarea. En el paper de IA, la "construcción de la tarea" (task construction) es la regla que mapea cada ejemplo sin etiquetar en un problema de aprendizaje. En el fútbol, los entrenadores distinguen entre la actividad principal (el núcleo técnico-táctico que quieren trabajar) y las actividades secundarias (el contexto que rodea la tarea). El riesgo, advierten los expertos de Zenith Sports, es que las subtareas secundarias terminen siendo más atractivas que la principal, desviando la atención del jugador. Lo mismo pasa en el entrenamiento de modelos: si la tarea auto-supervisada es demasiado entretenida pero no apunta al objetivo final, el modelo aprende algo que no sirve.

Por eso la flexibilidad es clave. En deporte, se manipula la complejidad añadiendo o quitando subtareas, cambiando la oposición, o variando las condiciones espaciales y temporales. V-pretraining propone un mecanismo similar pero automatizado: un "diseñador" entrenado con feedback downstream que modifica la tarea de pre-entrenamiento en cada paso, manteniendo el aprendizaje auto-supervisado pero guiado por el rendimiento real. Es como si un entrenador tuviera un asistente que, durante la práctica, ajusta los ejercicios según quién está fallando los penales.

¿Qué significa esto para América Latina?

Para las empresas y ejecutivos de la región, la lección es doble. Primero, el paper de Ke y Fanti apunta a un nuevo vector de eficiencia en IA que no requiere escalar datos ni cómputo de forma desproporcionada. Con un conjunto pequeño de ejemplos downstream, se puede mejorar significativamente el ajuste de un modelo durante el pre-entrenamiento continuado. Esto es especialmente relevante en contextos donde los recursos son limitados. No hace falta tener el presupuesto de OpenAI para aplicar V-pretraining; el método está diseñado para ser liviano.

Segundo, la analogía con el deporte revela que el diseño de tareas no es un lujo ni una ocurrencia: es el verdadero punto de control. En las organizaciones latinoamericanas, donde la formación de equipos de datos o el entrenamiento de modelos se hace con equipos reducidos, la tentación es fijar un pipeline y no tocarlo. Pero tanto los laboratorios de IA como los clubes de fútbol muestran que ese lazo grueso es ineficiente. Incorporar feedback del mundo real en el propio diseño del entrenamiento —ya sea de un modelo o de una persona— puede marcar la diferencia entre un proyecto que nunca despega y uno que se optimiza sobre la marcha.

El fútbol argentino y brasileño, con su tradición de formadores creativos, lleva años entendiendo que no existen modelos ideales de ejecución. "Cada futbolista vive y reacciona de manera muy personal a cada estímulo", recuerda Grupo Ekipo. En IA, la tentación es buscar la arquitectura perfecta, pero tal vez el secreto esté en el diseñador de tareas que nunca duerme. La lección amarga, parece, necesita una segunda parte: no basta con escalar; hay que cerrar el lazo.