Índice de contenidos
Claves de la noticia
- PrismML ha publicado una versión ternaria de Qwen3.8-27B que ocupa 5,9 GB y se distribuye con licencia Apache 2.0.
- La empresa afirma conservar el 98,2% del promedio del modelo FP16, aunque el resultado procede de sus propias baterías de pruebas.
- El ahorro abre la puerta a ejecutar un modelo de 27.000 millones de parámetros en local, pero exige runtimes específicos y más memoria que el archivo descargado.
Un modelo de 27.000 millones de parámetros ya no tiene por qué ocupar decenas de gigabytes. PrismML ha lanzado Bonsai 2 27B, una adaptación de Qwen3.8-27B cuyos pesos ternarios caben en un paquete de 5,9 GB. El salto no consiste en crear un modelo base distinto, sino en representar la mayor parte de sus pesos con tres estados —menos uno, cero y más uno— para rebajar drásticamente la memoria necesaria sin perder, según las mediciones de la compañía, la mayor parte de su capacidad.
De 54 a 5,9 GB sin cambiar el número de parámetros
Bonsai 2 conserva la arquitectura de 27.360 millones de parámetros del modelo de partida. La diferencia está en cómo almacena los pesos: el formato PTQ1_0 usa una media declarada de 1,72 bits por peso, frente a los 16 bits de la referencia FP16. PrismML ofrece además un paquete PQ2_0 de 7,21 GB y una variante para MLX destinada a equipos con Apple Silicon.
El Qwen3.8-Omni-Flash presentado por Alibaba amplió hoy la familia con entrada de texto, imagen, audio y vídeo. Bonsai parte de Qwen3.8-27B, no de ese servicio Omni, y añade otra respuesta al mismo problema industrial: llevar más capacidad a dispositivos que no pueden reservar decenas de gigabytes solo para los pesos.
La reducción de archivo es de aproximadamente un 89,1% frente a los 54 GB de FP16. Eso no significa que un ordenador con 6 GB de RAM vaya a ejecutar el modelo con holgura. El runtime, la caché de contexto, las activaciones y, si se usa visión, un proyector adicional de unos 0,63 GB elevan el consumo real. La ficha admite hasta 262.000 tokens de contexto, pero acercarse a ese máximo también aumenta la memoria necesaria.
La comparación homogénea favorece a los pesos ternarios
PrismML publica dos agregados que conviene no mezclar. El anuncio resume 20 pruebas con 83,9 puntos para Bonsai y 85,4 para Qwen3.8; la ficha del modelo muestra otra batería de 14 pruebas en modo razonamiento, con 84,78 y 86,32 puntos. Las cifras siguientes proceden únicamente de esta segunda tabla y comparten infraestructura y método declarados.
| Variante | Huella | Promedio | Lectura |
|---|---|---|---|
| Bonsai 2 27B | 5,9 GB | 84,78 | Pesos ternarios |
| Qwen3.8 IQ2_XXS | 9,4 GB | 72,59 | Cuantización convencional |
| Qwen3.8 UD-Q4_K_XL | 17,6 GB | 85,18 | Cuantización de mayor tamaño |
| Qwen3.8 FP16 | 54 GB | 86,32 | Referencia |
Un cálculo sobre esos datos muestra que Bonsai ocupa un 37,2% menos que IQ2_XXS y obtiene 12,19 puntos más. Frente a la cuantización UD-Q4_K_XL reduce el tamaño en dos tercios y queda a 0,40 puntos. Respecto a FP16 pierde 1,54 puntos. La comparación respalda que el formato ternario conserva mejor este promedio que una cuantización convencional extrema; no demuestra que gane en todas las tareas ni que esos promedios anticipen cada uso real.
También importa quién mide. Las pruebas y su metodología están publicadas, pero los resultados proceden de PrismML y no de una evaluación independiente. El 98,2% describe una relación entre promedios, no una garantía de que cada respuesta conserve el 98,2% de su calidad. En flujos largos de agentes, una diferencia pequeña puede acumularse; en otras tareas, la variación puede ser imperceptible.
El cuello de botella pasa al software
La descarga abierta no equivale a compatibilidad inmediata. Los paquetes GGUF emplean tipos PTQ1_0 y PQ2_0 y necesitan el fork de llama.cpp mantenido por PrismML. La propia ficha advierte de que una variante de desarrollo cargada con un runtime común puede producir resultados incorrectos, porque falta la transformación de activaciones asociada a los pesos ternarios. La edición MLX incluye asimismo un cargador específico.
Esta dependencia cambia la lectura del lanzamiento: el modelo cabe, pero todavía no es intercambiable. Una empresa que quiera desplegarlo debe fijar versiones, validar el binario y repetir sus pruebas sobre el hardware final. La velocidad máxima anunciada de 143 tokens por segundo en una RTX 5090 tampoco debe trasladarse a un portátil: el rendimiento depende del empaquetado, la GPU o CPU, el ancho de banda de memoria, el tamaño del contexto y la longitud de la respuesta.
PrismML ya publicó un Bonsai 27B en julio que retenía alrededor del 95% del promedio de su referencia. La segunda generación eleva esa proporción al 98,2% y mantiene una huella cercana. El avance relevante, por tanto, no es únicamente comprimir nueve veces, sino cerrar parte de la pérdida de calidad sin devolver el modelo a tamaños propios de una estación de trabajo.
Qué cambia para ejecutar IA en local
Para desarrolladores y pequeñas empresas españolas, el atractivo inmediato está en procesar código, documentos o imágenes sin enviar todo el material a una API externa. La ejecución local puede reducir latencia, costes variables y exposición de datos, aunque no sustituye una evaluación jurídica ni de seguridad: conservar información en el dispositivo no resuelve por sí solo el control de accesos, los registros, las licencias de datos o las respuestas erróneas del modelo.
El lanzamiento llega, además, cuando la presión sobre la memoria está rediseñando móviles y portátiles. Reducir la huella de los pesos permite reservar más capacidad para contexto y aplicaciones, pero un despliegue serio debe medir el consumo completo, la temperatura, la autonomía y la velocidad sostenida. Un archivo pequeño puede seguir siendo demasiado exigente para un teléfono si el runtime carece de kernels eficientes o el sistema limita memoria y potencia.
La conclusión concreta es doble: en la batería homogénea de 14 pruebas, Bonsai 2 ocupa un 37,2% menos que la alternativa convencional de 2 bits y la supera por 12,19 puntos; a cambio, el principal coste se desplaza desde la capacidad del modelo a la compatibilidad del runtime. Si esos kernels llegan a herramientas generalistas y las cifras se reproducen de forma independiente, los modelos de 27B dejarán de ser una categoría reservada a la nube o a equipos con mucha memoria.
