Radar ZML lanza software gratuito que acelera inferencia de IA en cualquier chip
La startup francesa ZML, respaldada por Yann LeCun, lanzó ZML/LLMD, un servidor de inferencia gratuito que optimiza modelos en chips de Nvidia, AMD, Google, Apple e Intel. Busca reducir costos y dependencia de un solo proveedor.
La startup francesa ZML, dirigida por Steeve Morin —ex vicepresidente de ingeniería en Zenly, adquirida por Snapchat por una cifra de nueve dígitos en 2017— y respaldada por el ganador del Premio Turing Yann LeCun, acaba de liberar ZML/LLMD, un servidor de inferencia para modelos de lenguaje de gran escala (LLM). La propuesta es clara: romper el bloqueo de proveedor al permitir que un mismo modelo se ejecute a máxima velocidad sobre distintos tipos de hardware, desde los GPU de Nvidia y AMD hasta los TPU de Google, los procesadores Apple Metal y las tarjetas Intel Arc. Y todo sin costo de licencia inicial.
La inferencia —el proceso de generar respuestas a partir de un modelo ya entrenado— se ha convertido en el cuello de botella operativo y financiero de la inteligencia artificial a medida que las aplicaciones pasan de la fase experimental a la producción. Optimizarla ya es más crítico que el entrenamiento mismo. Sin embargo, la fragmentación del ecosistema de hardware ha mantenido a las empresas atadas a una sola arquitectura, lo que limita la flexibilidad y encarece el escalado. ZML/LLMD promete eliminar esa barrera al compilar directamente sobre el metal de cada acelerador, sin capas de abstracción que degraden el rendimiento.
Morin lo plantea como una cuestión de soberanía tecnológica: “La idea es devolver a los usuarios el poder de crear su propio sistema y lograr verdaderas ganancias de eficiencia que permitan diseminar la IA”. La compañía, con sede en París y un equipo reducido de 20 personas, recaudó 20 millones de dólares de firmas como 20VC, LocalGlobe y el fondo de Xavier Niel, además de inversores ángel como el fundador de Docker, Solomon Hykes, y los cofundadores de Hugging Face, Clément Delangue y Julien Chaumond.
El contexto: la fiebre del oro de la inferencia
La inferencia ha atraído inversiones masivas. Competidores como Baseten alcanzaron una valoración de 13.000 millones de dólares; otros como Inferact (comercializador del proyecto open source vLLM) y RadixArk (empresa detrás de SGLang) también pelean por una porción del pastel. ZML se diferencia por su enfoque más amplio: no solo optimiza el tiempo de respuesta, sino que ya colabora con fabricantes de chips emergentes —Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud, VSORA— en el codiseño de silicio. "Hemos llegado al punto en el que estamos co-diseñando silicio", dice Morin.
A pesar de la competencia, Morin no descarta a Nvidia. ZML mantiene una buena relación con el gigante y reconoce su ventaja en disponibilidad de hardware. Pero la existencia de alternativas de software como este servidor puede acelerar la adopción de chips más baratos o eficientes, especialmente en regiones donde el costo de la infraestructura de IA es una barrera.
Lo que significa para América Latina
Para los ejecutivos de infraestructura y tecnología en la región, ZML/LLMD abre un escenario que antes parecía lejano: ejecutar modelos de lenguaje en hardware diverso sin tener que reescribir código ni depender exclusivamente de los GPU de Nvidia. En mercados donde el acceso a chips de última generación es limitado y la factura en dólares de los servicios cloud puede estrangular cualquier proyecto, contar con un software que permita aprovechar aceleradores locales —como los de AMD o Intel— o incluso los TPU de Google disponibles en regiones cercanas podría reducir significativamente el costo por inferencia.
Además, la aparición de startups europeas de chips sugiere una tendencia global hacia la diversificación del suministro. América Latina, que tradicionalmente importa tecnología, podría beneficiarse de un mercado más abierto donde el software no esté atado a un solo fabricante. Proveedores de cloud regionales —como los que operan en Brasil, México o Chile— podrían integrar servidores de inferencia basados en hardware alternativo y ofrecer precios más competitivos.
El producto se lanza como gratuito, sin fecha definida para su monetización. "Prefiero medir y luego generar ingresos donde sea más efectivo, sin obstaculizar mi crecimiento por ser demasiado codicioso desde el principio", explica Morin. Esa estrategia de “medir antes de cobrar” puede resultar atractiva para startups latinoamericanas que necesitan probar la viabilidad técnica de sus aplicaciones de IA sin comprometer un presupuesto significativo.
En un momento en que la eficiencia de inferencia se ha vuelto tan importante como la capacidad de entrenamiento, herramientas como ZML/LLMD representan una pieza clave para que la inteligencia artificial se despliegue de forma masiva, sin importar cuál sea el chip que termine alimentando la próxima aplicación.
