Los modelos de lenguaje y visión (VLMs) han demostrado capacidades notables en reconocimiento de objetos y descripción de imágenes, pero su desempeño en tareas que requieren comprensión espacial tridimensional sigue siendo limitado. Esta brecha se debe a que la mayoría de estos modelos procesan imágenes como secuencias planas de píxeles 2D, sin una representación explícita de la profundidad, las distancias o las relaciones geométricas entre objetos.
Cinco trabajos publicados en 2025 y 2026 abordan este problema desde ángulos complementarios, y todos convergen en una tesis: es posible dotar a los VLMs de conciencia espacial 3D utilizando únicamente video RGB, sin necesidad de sensores de profundidad (LIDAR, cámaras estéreo) ni de mapas preconstruidos. Para empresas de América Latina, donde el acceso a hardware especializado suele ser prohibitivo, esto abre posibilidades concretas de adopción en logística, retail y operaciones industriales.
Dos tipos de geometría para una misma tarea
El trabajo titulado “3D-Aware VLMs with Implicit and Explicit Geometries” (VLM-IE3D), liderado por investigadores de la Universidad Tecnológica de Nanyang y Alibaba Group, propone combinar dos formas de representación geométrica. Por un lado, los Tokens de Geometría Implícita (IGTs) capturan la disposición global de la escena a partir de secuencias de video, ofreciendo un “mapa cognitivo 3D” grueso. Por otro lado, los Tokens de Geometría Explícita (EGTs) codifican estructuras detalladas —como mapas de profundidad y nubes de puntos— reconstruidas a partir de los mismos fotogramas. Un adaptador 3D fusiona ambas representaciones con las señales visuales 2D. El resultado es un modelo que supera a sus predecesores en detección de objetos en video 3D, anclaje visual 3D y razonamiento espacial, sin requerir entradas 3D adicionales.
En una línea similar, el modelo VLM-3R, presentado en CVPR 2026, introduce un codificador geométrico que extrae tokens espaciales (representan el contexto de la escena) y tokens de vista (codifican el movimiento de la cámara) directamente desde video monocular. El sistema utiliza el reconstrucor métrico CUT3R para obtener estructuras 3D con escala absoluta, algo que los modelos previos no lograban. Además, sus autores crearon un conjunto de datos de 200.000 pares de preguntas y respuestas para entrenamiento, y un benchmark de razonamiento espacio-temporal con 138.600 consultas. En las pruebas, VLM-3R alcanzó resultados comparables a métodos que usan profundidad real, pero operando solo con video.
Geometría implícita para robots
El tercer trabajo, GeoAware-VLA, se enfoca en robótica. Propone reemplazar el codificador visual estándar de un modelo Visión-Lenguaje-Acción (VLA) por un backbone geométrico congelado (VGGT), entrenado previamente para inferir profundidad, puntos 3D y parámetros de cámara. Una capa de proyección ligera y entrenable adapta esas características geométricas al decodificador de políticas del robot. Los experimentos en los benchmarks LIBERO y CALVIN muestran que el modelo mejora la tasa de éxito en vistas no vistas durante el entrenamiento en un 35% y 11% respectivamente, y que la mejora se traslada a un robot real. Para una empresa que despliegue robots en almacenes o centros de distribución, esto significa que el sistema puede operar con cámaras web estándar, sin sensores 3D costosos, y generalizar a nuevas configuraciones de cámara sin reentrenar.
La vía de los datos 2D con supervisión 3D
El enfoque “From Flatland to Space”, presentado en NeurIPS 2025, plantea una pregunta provocadora: ¿es realmente necesario incorporar representaciones 3D en los VLMs? Sus autores construyeron un pipeline que genera datos de entrenamiento 2D con anotaciones 3D precisas a partir de escenas de ScanNet, ScanNet++ y Structured3D. El resultado es SPAR-7M, un conjunto de 7 millones de pares de preguntas y respuestas que abarcan 33 tareas espaciales, desde percepción básica (profundidad, distancia) hasta razonamiento avanzado (imaginación espacial, cambios de vista). El modelo entrenado solo con estas imágenes 2D superó a GPT-4o y otros modelos cerrados en el benchmark SPAR-Bench. Esto sugiere que, para muchas aplicaciones empresariales, no se necesita un modelo que entienda geometría explícita, sino uno que haya visto suficientes ejemplos de relaciones espaciales en 2D para inferirlas correctamente.
Finalmente, el modelo G2VLM, también de CVPR 2026, unifica la reconstrucción 3D y el razonamiento espacial en un solo modelo con dos expertos: uno geométrico (aprende a reconstruir profundidad, puntos 3D y pose de cámara) y otro semántico (procesa el lenguaje y las imágenes). Ambos comparten atención en un bloque Mixture-of-Transformers. El modelo alcanzó el mejor resultado en SPAR-Bench entre todos los trabajos existentes, superando a GPT-4o por 18,5 puntos, y redujo el error relativo absoluto en estimación de profundidad monocular de 0,335 a 0,297 en el benchmark Sintel, todo ello con solo 2.000 millones de parámetros.
Implicaciones para América Latina
Para empresas de la región, la principal conclusión es que la barrera de entrada para adoptar sistemas con comprensión espacial se reduce drásticamente. Ya no es necesario depender de sensores LiDAR ni de hardware especializado para tareas como inspección de almacenes, navegación de robots móviles o control de calidad visual en líneas de producción. Modelos como VLM-IE3D, VLM-3R o GeoAware-VLA funcionan con cámaras RGB estándar, que son mucho más económicas y fáciles de integrar.
Sin embargo, la adopción local enfrenta dos desafíos. El primero es de infraestructura: estos modelos requieren GPUs para inferencia en tiempo real, algo que no todas las empresas tienen disponible. El segundo es de datos: los conjuntos de entrenamiento actuales (ScanNet, Structured3D) provienen casi exclusivamente de entornos desarrollados. Un almacén en São Paulo o una fábrica en Bogotá tienen configuraciones espaciales distintas, y los modelos podrían no generalizar bien sin ajuste fino con datos locales. Para startups latinoamericanas que busquen ofrecer soluciones de robótica o logística inteligente, crear sus propios conjuntos de datos espaciales anotados —incluso si solo son imágenes 2D con etiquetas 3D— puede ser una ventaja competitiva.
Los cinco trabajos coinciden en que el camino hacia modelos con inteligencia espacial no pasa necesariamente por sensores costosos, sino por mejores algoritmos y datos más diversos. Para el ecosistema tecnológico de la región, esa es una oportunidad que vale la pena explorar.
