Opinión La memoria HBM reemplaza a la GPU como cuello de botella para la IA en Latinoamérica
El cuello de botella ya no es cómputo sino memoria de alto ancho de banda. Las arquitecturas desagregadas cambian las reglas: las empresas latinas deben evaluar proveedores cloud por su roadmap de memoria, no por GPUs, so pena de pagar primas crecientes sin control sobre datos ni costos.
La transición masiva a modelos de razonamiento ha volteado la ecuación de infraestructura. Donde antes el límite era la capacidad de cómputo, hoy el estrangulamiento real es la memoria de alto ancho de banda (HBM). Los hiperscaladores —Microsoft, Meta, Google, Amazon— destinan cientos de miles de millones en CapEx 2025 a asegurar suministro, y esa presión se traslada directo al precio de las instancias GPU y los servicios gestionados. Para una empresa en México, Colombia o Chile, la factura de nube ya no refleja solo uso: refleja una prima global por un recurso que la región no fabrica, no diseña y no controla.
El fenómeno tiene dos caras. Por un lado, el ancho de banda para inferencia activa; por otro, la capacidad para retener contexto largo. El caché clave-valor (KV), que evita recalcular tokens previos, crece linealmente con la longitud de la secuencia. Modelos como Qwen3 (128K tokens) o DeepSeek-R1 (160K) desbordan la HBM local de una sola GPU. Investigaciones recientes de Micron y Argonne National Laboratory confirman que las cargas de razonamiento pasan el 99% de su tiempo en la fase de decodificación, limitada por ancho de banda de memoria, no por FLOPS. El paralelismo de datos, estándar hasta ahora, choca contra un "muro de capacidad": la fragmentación del caché KV obliga a estrangular peticiones aunque los núcleos estén ociosos.
La respuesta de la industria es arquitectónica, no incremental. Nvidia adquirió Groq por 20.000 millones para integrar LPUs basadas en SRAM con 150 TB/s de ancho de banda. Microsoft Research presenta FengHuang: memoria compartida multinivel con LPDDR6 accesible por cualquier acelerador, que en simulación reduce 93% la memoria local y acelera la comunicación inter-GPU entre 16 y 70 veces frente a NVLink. La frontera entre memoria y almacenamiento se difumina: Nvidia CMX permite cachés KV fríos en flash Ethernet (JBOF), un nuevo nivel intermedio gestionado por DPUs BlueField. Como resume YANSEN, la IA "no usa menos memoria, la usa de forma distinta".
Para Latinoamérica, tres implicaciones son inmediatas. Primero, los costos de nube quedan indexados a la escasez global. Segundo, la migración "lift-and-shift" a instancias GPU deja de ser óptima: arquitecturas desagregadas entregan el mismo rendimiento con la mitad de GPUs si el proveedor implementa memoria compartida eficiente. Evaluar proveedores por su hoja de ruta de memoria —no solo por SKU de GPU— será el diferencial competitivo. Tercero, la soberanía de datos adquiere una dimensión técnica inédita: los historiales de conversación y razonamiento extenso residen ahora en capas de almacenamiento de red (G3.5/G4). ¿Dónde físicamente viven esos datos? ¿Bajo qué jurisdicción? Para banca, salud y gobierno, la ubicación del caché KV es una pregunta de cumplimiento, no solo de arquitectura.
La pregunta que debe hacerse el ejecutivo no es "qué GPU compro" —pocos en la región compran GPUs—. Es: ¿mi proveedor cloud está arquitectando para el muro de memoria o solo apila más HBM sobre el mismo modelo? La respuesta determinará si su costo por token inferido baja en los próximos 18 meses o sigue subiendo al ritmo de la escasez global. La soberanía tecnológica, en la práctica, empieza por exigir visibilidad sobre la cadena de suministro de memoria de quien hospeda sus modelos.
