Comprar

Q4T / Q3T

Quantization by Q.E.L.V.A.R.I.

Pequeño y fiel.※1

La técnica que reduce el tamaño de un modelo de IA para que pueda funcionar en tu Mac se llama «cuantización». Los modelos de R.E.V.I.S. v1.3.0 están creados con nuestras propias recetas de cuantización, Q4T y Q3T. Nuestro objetivo era reducir su tamaño manteniendo una forma de responder cercana a la del modelo original.

4-BIT / 3-BITDATA-FREE

What is Quantization

Cuantizar es reducir las cifras de los pesos.

Un modelo de IA está formado por miles de millones de números (pesos). En el modelo original, cada peso ocupa 16 bits; si lo dejamos en 4 bits, el tamaño se reduce a cerca de una cuarta parte. Así cabe mucho mejor en la memoria de tu Mac. Pero, si esa reducción se hace de forma brusca, la calidad de las respuestas cae.

Tamaño de Qwen3.6 35B (pesos)
  1. Modelo originalAprox. 70 GB
  2. Q4T19.2 GB
  3. Q3T15.2 GB

Los cuadrados representan el número de bits por peso en la mayor parte del modelo (16 en el original, 4 en Q4T y 3 en Q3T).

Pequeño

Los pesos pasan de 16 bits a 4 o 3 bits. Incluso un modelo de 35B puede ejecutarse en un Mac con 24 GB de memoria (Q3T).

Fiel

Qué recortar y qué conservar. Esa decisión determina cuánto se parecerán las respuestas a las del modelo original.

En tu Mac

El modelo reducido se ejecuta dentro de tu Mac. No hace falta enviar tus conversaciones a la nube.

The Recipe

Cambiar el número de bits según la parte.

Dentro de un modelo hay partes en las que usar menos bits apenas altera la respuesta, y otras en las que un mínimo error se nota. Q4T y Q3T son recetas fijas que asignan el número de bits según el tipo de cada parte.

La mayor parte del modeloCapas de expertos, etc.4 bits en Q4T y 3 bits en Q3T. Al reducir esta parte, se reduce el tamaño de todo el modelo.
Partes que construyen la respuestaConservan el detalle.
Partes que eligen qué experto usar, etc.No se reducen; se dejan tal como están en el original.Son partes delicadas en las que una mínima diferencia cambia el experto elegido.

Not Just Rounding

No se trata solo de recortar cifras.

La cuantización estándar se limita a redondear cada peso, uno por uno, al escalón más cercano. En una imagen, sería como bajar la resolución hasta convertirla en un mosaico. Q4T y Q3T primero transforman los pesos y luego los empaquetan, como hace JPEG. Con el mismo volumen de datos, la información que se conserva es totalmente distinta.

Imagen original

Cuantización estándarBajar la resolución (mosaico)

Q4T / Q3TTransformar antes de empaquetar (como JPEG)

Ejemplo visual. Tanto la imagen central como la de la derecha ocupan 1/36 de los datos originales. JPEG incluye ajustes pensados para el ojo humano, por lo que el mecanismo no es exactamente el mismo.

Cuantización estándar

Redondear uno por uno al escalón más cercano

Cada peso se redondea por separado al escalón más próximo. Si hay un solo valor extremo (a la derecha), la escala se estira para abarcarlo y el resto de los valores pierde precisión.

Q4T / Q3T — 1

Primero, igualar las diferencias

Igual que JPEG transforma una imagen antes de comprimirla, rotamos matemáticamente los pesos (rotación de Hadamard) para repartir los valores extremos entre los demás. Como el rango se equilibra, podemos usar escalones más finos incluso con pocos bits.

Q4T / Q3T — 2

Elegir el camino más cercano para cada secuencia

En lugar de tratar los pesos uno a uno, los empaquetamos juntos como una secuencia (codificación trellis). Entre todos los caminos posibles, se elige y guarda aquel que reduce al mínimo el error total respecto a la secuencia original (línea punteada).
Cuantización estándarQ4T · Q3T
Modo de redondeoUno por uno, al escalón más cercanoPor secuencias, eligiendo el camino con menor error
Valores extremosHacen que la escala pierda precisiónSe reparten antes de empaquetar
Trato de cada parteCasi el mismo número de bits en todoSe decide según la parte (4 o 3 bits / más fino / sin cambios)

Data-Free

Sin usar datos de muestra.

Cuando se cuantiza ajustando el modelo a unos datos de muestra (datos de calibración), se puede demostrar un buen rendimiento en ese tema, pero es imposible saber qué ha cambiado en todo lo demás. Q4T y Q3T no usan datos de muestra: se crean únicamente mediante un procedimiento matemático pensado para reducir al mínimo el error respecto a los pesos originales.

Cuantización ajustada a datos de muestraQ4T · Q3T
En el tema ajustadoPuede mostrar buenos resultadosSe demuestra por su cercanía al modelo original
En todo lo demásNo hay forma de comprobar qué ha cambiadoSe mide con el mismo criterio (la cercanía al modelo original)
ElaboraciónEl resultado varía según los datos usadosSolo mediante un procedimiento matemático

Sin sesgo hacia ningún tema

No hacemos ajustes para ningún campo ni idioma en particular. El único objetivo es mantenerse cerca del modelo original en cualquier uso.

Sin reentrenar

Tampoco reentrenamos el modelo para alterar su interior. Nuestros modelos son el resultado de cuantizar directamente los modelos originales publicados.

Comprobado por su cercanía

Por eso la calidad se puede medir con un único criterio: cuánto se acerca al modelo original. Las gráficas siguientes muestran el resultado de medirlo así.

Measured

Pequeño, pero cercano al original.

Hicimos leer los mismos textos a los modelos y medimos cuánto se desvía la elección de la siguiente palabra respecto al modelo original. Cuanto más corta es la barra, más se parece su forma de responder a la del original.※2

Qwen3.6 35B MoEDistancia respecto al modelo original (más corta = más cercano)
  1. Estándar Q837.7 GB0.0066
  2. Q5T23.8 GB0.0090
  3. Estándar Q629.3 GB0.0116
  4. Q4T19.2 GB0.0181
  5. Estándar Q524.9 GB0.0248
  6. Q3T15.2 GB0.0356
  7. Estándar Q420.7 GB0.0682
Gemma 4 26B MoEDistancia respecto al modelo original (más corta = más cercano)
  1. Estándar Q828.0 GB0.0110
  2. Q5T19.4 GB0.0136
  3. Estándar Q621.9 GB0.0268
  4. Q4T15.6 GB0.0373
  5. Estándar Q518.6 GB0.0638
  6. Q3T12.5 GB0.0650
  7. Estándar Q415.5 GB0.2367

Con el mismo tamaño, entre 4 y 6 veces menos desviación

Comparado con el Q4 estándar, de tamaño casi idéntico, la desviación de Q4T fue de aproximadamente una cuarta parte en Qwen3.6 y de una sexta parte en Gemma 4.

Más pequeño y más cercano que el Q5 estándar

Aunque Q4T ocupa menos que el Q5 estándar, su desviación también es menor. Ocurre así en ambos modelos.

Incluso a 3 bits, más cercano que el Q4 estándar

Incluso con Q3T, que es aún más pequeño, el resultado se acerca más al modelo original que con el Q4 estándar.

Models

Modelos compatibles.

ModeloTamaño (Q4T / Q3T)
Gemma 4 26B MoE15.6 GB / 12.7 GB
Qwen3.6 35B MoE19.4 GB / 15.6 GB
Ornith 1.5 35B MoE19.4 GB / 15.6 GB
Qwen3.8 27B20.1 GB / 17.6 GB

Los tamaños incluyen el modelo borrador de MTP (GiB). Se pueden cargar modelos dentro de la memoria instalada menos unos 7 GB. Como referencia, un Mac con 24 GB de memoria ejecuta el Q3T de Gemma 4, Qwen3.6 y Ornith 1.5, y con 32 GB o más, el Q4T de todos los modelos.

Ir a la página de Q.E.L.V.A.R.I.

Reducimos el tamaño
para conservar lo que importa.

SEVEN CORES / ONE CONSCIOUSNESS

7 cerebros. Una conciencia.

  1. R.E.V.I.S.COGNITIVE OS
  2. Q.E.L.V.A.R.I.INFERENCE ENGINE
  3. F.A.L.Q.TASK QUEUE
  4. M.μ.X.I.S.TASK SCHEDULER
  5. J.I.T.R.X.PROMPT COMPILER
  6. L.A.T.R.I.O.RESPONSE RENDERER
  7. K.E.C.H.I.PERSONAL CONTEXT

Convierte tu Mac en una IA de verdad.

Ver ediciones y precios Volver a R.E.V.I.S.

※2 Media de la desviación en la distribución de probabilidad de la siguiente palabra (divergencia KL, KLD) respecto al modelo original (BF16), medida en 48 documentos y unos 18 000 puntos. «Estándar» corresponde a la cuantización realizada por nosotros con el método afín habitual (en condiciones favorables, conservando más detalle en las capas de salida y similares). Medido en un entorno de investigación calculando directamente los valores exactos de los pesos. El tamaño corresponde solo a los pesos (GB). Q5T es la versión de 5 bits de la misma receta; en R.E.V.I.S. v1.3.0 están disponibles Q4T y Q3T.

※1 La precisión indica con qué fidelidad se reproduce la salida del modelo original; no significa un rendimiento superior al del modelo original. La velocidad varía según el modelo, el Mac y la entrada.