Investigación Cómo los robots aprenden nuevas destrezas sin más demostraciones humanas
InSight muestra que, al hacer manipulables los modelos visión‑texto‑acción a nivel de pasos básicos, los robots pueden identificar y entrenar habilidades faltantes por sí solos.
InSight es una arquitectura que permite a los robots adquirir nuevas destrezas sin que un operador humano proporcione ejemplos para cada tarea. El proceso se divide en dos fases. Primero, un conjunto de demostraciones humanas se segmenta automáticamente en unidades elementales –por ejemplo “mover el efector al cuenco”, “levantar” o “vertir”– usando un modelo de visión‑texto que genera planes y alinea la información de posición del efector y del agarre. Cada segmento resultante se etiqueta con una descripción en lenguaje natural y se usa para afinar un modelo visión‑texto‑acción (VLA), dotándolo de la capacidad de ejecutar cada paso bajo demanda.
En la segunda fase, cuando el robot se enfrenta a una tarea no vista, un modelo de visión‑texto (VLM) descompone la instrucción en una secuencia de pasos y compara esa lista con el vocabulario de pasos ya entrenados. Los pasos que no aparecen en el vocabulario se marcan como "gap". El VLM propone entonces los parámetros de movimiento necesarios (eje de traslación o rotación y magnitud) y el robot realiza un intento controlado. Un verificador visual comprueba el éxito de la ejecución; los intentos exitosos se añaden al conjunto de datos y el VLA se re‑entrena, ampliando su repertorio de pasos.
Los autores evaluaron InSight en simulación y en hardware real. En simulación, un robot con un brazo de 7 DOF logró voltear un bloque usando únicamente demostraciones de recogida‑colocación, alcanzando un 75 % de éxito después de 246 intentos de adquisición de la nueva primitiva de rotación. En una prueba de cierre de cajón, a pesar de que el modelo había visto solo aperturas, logró cerrar el cajón en 100 % de los 25 ensayos tras incorporar 70 demostraciones del nuevo paso.
En el mundo real, con un brazo xArm de 6 DOF, InSight aprendió a destapar una botella y a verter su contenido sin ninguna demostración previa de esas habilidades. Los resultados fueron 92 % de éxito al destapar y 96 % al verter, comparado con 32 % y 16 % de la aproximación basada en código‑como‑política (CaP‑X). Además, al combinar los pasos adquiridos de girar y verter, el robot completó la tarea completa de girar‑y‑vertar en un 80 % de los ensayos, mientras que CaP‑X cayó al 4 %.
El enfoque también demostró que los pasos aprendidos son reutilizables: después de añadir los nuevos primitivos, el robot mantuvo un 100 % de desempeño en las tareas originales de recogida‑colocación. Finalmente, un experimento de barrido mostró que, partiendo solo de demostraciones de scooping, el robot descubrió y ejecutó un paso de empuje lateral para barrer, logrando éxito en los cinco ensayos de prueba.
Implicaciones para el negocio
Para las empresas que dependen de automatización flexible, InSight abre la puerta a robots que pueden expandir su repertorio de habilidades en el sitio, reduciendo la necesidad de costosas campañas de recolección de datos. La capacidad de detectar automáticamente qué habilidades faltan y generar rápidamente datos de entrenamiento permite acortar los ciclos de desarrollo de nuevos procesos y adaptar rápidamente la línea de producción a productos o escenarios cambiantes, todo sin detener la operación para re‑programar o re‑entrenar manualmente los modelos.
