Radar 27 mil millones de parámetros en un smartphone: llega Bonsai 27B
PrismML lanza un LLM multimodal que, con compresión a 1 bit, ocupa 3.9 GB y corre en iPhone. Implicaciones para la adopción de IA local en América Latina.
PrismML, una startup surgida del Caltech, presentó Bonsai 27B, un modelo de lenguaje de 27 mil millones de parámetros que, por primera vez, puede ejecutarse por completo en un smartphone. El avance no está en el tamaño del modelo —hay otros de ese calibre— sino en la compresión: la compañía logró reducir el peso de los parámetros a 1 bit o 1.71 bits efectivos, lo que permite que el modelo ocupe solo 3.9 GB en su versión binaria y 5.9 GB en la ternaria. Un modelo de 27B en precisión completa (16 bits) requiere unos 54 GB de memoria; incluso en 4 bits convencional necesita 18 GB, un volumen inviable para un teléfono.
El modelo que cambia la ecuación de la IA local
Bonsai 27B está basado en Qwen3.6 27B y es multimodal: entiende texto, imágenes, capturas de pantalla y documentos. Ofrece dos variantes. La 1-bit Bonsai 27B representa cada peso con los valores -1 o +1, alcanzando 1.125 bits efectivos por peso y un tamaño de 3.9 GB. Corre en un iPhone 17 Pro, según la compañía, y entrega un 90% del rendimiento del modelo original en 15 benchmarks que cubren razonamiento, matemáticas, codificación, uso de herramientas y visión. La Ternary Bonsai 27B añade el valor 0, llega a 1.71 bits efectivos por peso con 5.9 GB, y retiene el 95% del rendimiento de referencia. Está pensada para laptops convencionales. Sorprendentemente, ambas versiones mantienen la capacidad de razonamiento multi-paso, llamadas a herramientas y loops agénticos complejos, justo las tareas que más exigen coherencia.
El rendimiento concreto es llamativo: en velocidad de inferencia, la versión 1-bit alcanza hasta 163 tokens por segundo en una NVIDIA RTX 5090, y la ternaria 134 tokens por segundo. En un Apple M5 Max llega a 87 y 58 tokens por segundo respectivamente. El contexto completo es de 262 mil tokens, y el modelo incluye decodificación especulativa para acelerar la generación. PrismML lo publica bajo licencia Apache 2.0, lo que permite uso comercial sin restricciones.
La compresión no solo reduce el tamaño; cambia la arquitectura de despliegue. Un modelo de 27B capaz de trabajar de forma autónoma, con herramientas y razonamiento encadenado, ahora puede vivir dentro del dispositivo. La compañía habla de "densidad de inteligencia": más de 10 veces la del modelo original en relación al espacio que ocupa. Y aunque el caso de uso inmediato es un asistente local que nunca envía datos a la nube, la implicación más profunda es la posibilidad de arquitecturas híbridas: tareas sensibles o de alta frecuencia se resuelven en el dispositivo, mientras que los casos más complejos se derivan a modelos frontera en la nube.
Lo que significa para América Latina: menos nube, más control
Hasta ahora, un modelo con esta capacidad requería conexión permanente a APIs en la nube. Para empresas latinoamericanas, eso implica costos por token, latencia variable y dependencia de la disponibilidad regional de servicios como AWS o Azure. En mercados donde la conectividad no es uniforme, un modelo que corre en el dispositivo permite que trabajadores de campo, equipos remotos o sucursales sin fibra óptica accedan a IA de alto nivel sin depender de la red.
La llegada de iOS 27, que Apple lanzará en septiembre, refuerza este ecosistema. El nuevo sistema operativo incluye funciones de inteligencia artificial más profundas —mejoras en Siri AI, herramientas de edición inteligente— pero solo los iPhone 15 Pro o superiores podrán aprovechar Apple Intelligence en su totalidad. Los iPhone 17 Pro y Pro Max serán los únicos con acceso al modelo mejorado de Apple. Bonsai 27B ofrece una alternativa abierta que no depende de la línea de hardware del fabricante: cualquier dispositivo con suficiente memoria y un chip compatible (Apple Silicon, NVIDIA, y próximamente más plataformas) puede ejecutarlo.
Desde una perspectiva de seguridad y gobernanza, el modelo local elimina la necesidad de enviar datos corporativos a servidores externos. Para sectores regulados como finanzas, salud o gobierno en la región, donde las leyes de protección de datos se están endureciendo, tener un LLM que procesa información sensible sin salir del dispositivo reduce riesgos de cumplimiento. No es una solución mágica —el modelo sigue siendo dependiente del hardware y la capacidad de cómputo local es limitada— pero abre la puerta a aplicaciones que antes eran inviables por costos de infraestructura.
El movimiento de PrismML no es aislado. Otras startups y grandes laboratorios están compitiendo por reducir el tamaño de los modelos sin sacrificar capacidad. La tendencia sugiere que la frontera entre lo que se ejecuta en la nube y lo que corre en el dispositivo se redefinirá en los próximos dos o tres años. Para los equipos técnicos de América Latina, evaluar la madurez de estos modelos comprimidos y su integración con flujos de trabajo existentes debería ser una prioridad, no solo por ahorro de costos, sino por la autonomía que ofrecen.
