Q4T / Q3T

Quantization by Q.E.L.V.A.R.I.

Plus petit, et pourtant fidèle.^※1

La « quantification » est la technique qui réduit la taille d'un modèle d'IA pour qu'il puisse tourner sur un Mac. Les modèles de R.E.V.I.S. v1.3.0 sont produits avec nos recettes de quantification propriétaires Q4T et Q3T. Notre objectif : réduire la taille du modèle tout en gardant des réponses proches du modèle d'origine.

4-BIT / 3-BITDATA-FREE

Quelle partie, à combien de bits

La majeure partie du modèle: 4 / 3 BIT
Parties liées à la construction de la réponse: Plus fin
Partie qui choisit les experts, etc.: Intact

Les proportions sont données à titre d'illustration.

What is Quantization

Quantifier, c'est réduire le nombre de bits des poids.

Un modèle d'IA est composé de milliards de nombres appelés poids. Dans le modèle d'origine, chaque poids occupe 16 bits. En le ramenant à 4 bits, la taille est divisée par environ 4, ce qui permet de le loger bien plus facilement dans la mémoire du Mac. Mais si cette réduction est trop brutale, la qualité des réponses baisse.

Taille de Qwen3.6 35B (poids)

Modèle d'origineEnv. 70 GB
Q4T19.2 GB
Q3T15.2 GB

Les carrés représentent le nombre de bits par poids pour la majeure partie du modèle (16 à l'origine, 4 pour Q4T, 3 pour Q3T).

Plus petit

Les poids de 16 bits passent à 4 ou 3 bits. Même un modèle de 35B peut tourner sur un Mac doté de 24GB de mémoire (en Q3T).

Fidèle

Savoir où réduire et où conserver intact : c'est ce choix qui détermine à quel point les réponses resteront proches du modèle d'origine.

Sur votre Mac

Une fois allégé, le modèle tourne directement dans votre Mac. Aucune conversation n'a besoin d'être envoyée dans le cloud.

The Recipe

Adapter le nombre de bits à chaque partie.

Dans un modèle, certaines parties supportent bien une réduction du nombre de bits, tandis que d'autres sont sensibles au moindre écart. Q4T et Q3T sont des recettes fixes qui attribuent le bon nombre de bits à chaque type de composant.

La majeure partie du modèleCouches d'experts, etc.	4 bits pour Q4T, 3 bits pour Q3T. C'est la réduction de cette partie qui allège l'ensemble du modèle.
Parties liées à la construction de la réponse	La finesse est préservée.
Partie qui choisit quel expert utiliser, etc.	Aucune réduction : elle est conservée telle quelle.C'est une partie délicate où un infime écart suffit à changer l'expert sélectionné.

Not Just Rounding

Pas une simple troncature.

La quantification courante se contente d'arrondir chaque poids, un par un, à la graduation la plus proche. Pour une image, cela revient à baisser la résolution jusqu'à obtenir une mosaïque. Q4T et Q3T transforment d'abord les données avant de les compacter, à la manière du JPEG. Pour un même volume de données, l'information préservée est tout autre.

Exemple visuel à titre d'illustration. Au centre comme à droite, le volume de données est réduit à 1/36 de l'original. Le JPEG intégrant des ajustements propres à la perception visuelle humaine, le mécanisme n'est pas strictement identique.

Quantification standard

Arrondir un par un à la graduation la plus proche

Chaque poids est arrondi individuellement à la graduation la plus proche. S'il existe ne serait-ce qu'une valeur extrême (à l'extrémité droite), l'écart entre les graduations s'élargit pour l'absorber, et toutes les autres valeurs perdent en finesse.

Q4T / Q3T — 1

Lisser d'abord les écarts

Tout comme le JPEG transforme l'image avant de la compacter, une rotation mathématique (rotation de Hadamard) est appliquée aux poids pour répartir les valeurs extrêmes sur les autres. L'amplitude des valeurs devient homogène, ce qui permet d'utiliser des graduations fines même avec peu de bits.

Q4T / Q3T — 2

Choisir le chemin le plus proche par séquence

Les poids ne sont pas compactés un par un, mais par séquences entières (codage en treillis). Parmi tous les chemins possibles, on retient celui qui minimise l'erreur globale par rapport à la séquence d'origine (ligne pointillée).

	Quantification standard	Q4T et Q3T
Méthode d'arrondi	Un par un, vers la graduation la plus proche	Par séquence, en choisissant le chemin d'erreur minimale
Valeurs extrêmes	Les graduations deviennent grossières	Lissées avant d'être compactées
Traitement par partie	Presque le même nombre de bits partout	Défini par partie (4 ou 3 bits / plus fin / intact)

Data-Free

Sans données d'exemple.

Quand on quantifie un modèle en l'ajustant sur des données d'exemple (données de calibration), il obtient de bons résultats dans ce domaine précis, mais il devient impossible de savoir ce qui a changé pour tout le reste. Q4T et Q3T n'utilisent aucune donnée d'exemple : ils sont produits uniquement par une procédure mathématique qui minimise l'écart avec les poids d'origine.

	Quantification ajustée sur des données d'exemple	Q4T et Q3T
Domaine ciblé	Peut afficher de bons scores	Mesurable par la proximité avec le modèle d'origine
Tout le reste	Impossible de vérifier ce qui a changé	Mesurable avec le même critère (la proximité avec le modèle d'origine)
Fabrication	Le résultat dépend des données choisies	Uniquement une procédure mathématique

Aucun biais de domaine

Nous ne faisons aucun ajustement pour un domaine ou une langue en particulier. Le seul objectif est de rester proche du modèle d'origine, quel que soit l'usage.

Aucun réentraînement

Nous ne modifions pas non plus le comportement par un nouvel entraînement. Nos modèles sont simplement la version quantifiée des modèles publics d'origine.

Vérifié par la proximité

La qualité peut donc être évaluée avec une seule mesure : « à quel point est-on proche du modèle d'origine ? ». Les graphiques qui suivent présentent les résultats selon cette mesure.

Measured

Petit, mais très proche de l'original.

En faisant lire les mêmes textes aux modèles, nous avons mesuré de combien le choix du mot suivant s'écarte de celui du modèle d'origine. Plus la barre est courte, plus la façon de répondre est fidèle au modèle d'origine.^※2

Qwen3.6 35B MoEÉcart avec le modèle d'origine (plus c'est court, plus c'est fidèle)

Standard Q837.7 GB0.0066
Q5T23.8 GB0.0090
Standard Q629.3 GB0.0116
Q4T19.2 GB0.0181
Standard Q524.9 GB0.0248
Q3T15.2 GB0.0356
Standard Q420.7 GB0.0682

Gemma 4 26B MoEÉcart avec le modèle d'origine (plus c'est court, plus c'est fidèle)

Standard Q828.0 GB0.0110
Q5T19.4 GB0.0136
Standard Q621.9 GB0.0268
Q4T15.6 GB0.0373
Standard Q518.6 GB0.0638
Q3T12.5 GB0.0650
Standard Q415.5 GB0.2367

À taille égale, un écart réduit de 4 à 6 fois

Comparé à un Q4 standard de taille presque identique, l'écart de Q4T est réduit d'environ 4 fois sur Qwen3.6, et d'environ 6 fois sur Gemma 4.

Plus petit et plus fidèle qu'un Q5 standard

Bien que plus léger qu'un Q5 standard, Q4T affiche un écart plus faible. C'est vrai pour les deux modèles.

Même en 3 bits, plus fidèle qu'un Q4 standard

Même avec Q3T, pourtant encore plus compact, le résultat reste plus proche du modèle d'origine qu'avec un Q4 standard.

Models

Modèles pris en charge.

Modèle	Taille (Q4T / Q3T)
Gemma 4 26B MoE	15.6 GB / 12.7 GB
Qwen3.6 35B MoE	19.4 GB / 15.6 GB
Ornith 1.5 35B MoE	19.4 GB / 15.6 GB
Qwen3.8 27B	20.1 GB / 17.6 GB

Les tailles incluent le modèle brouillon MTP (Gio). Les modèles se chargent dans la limite de la mémoire installée moins environ 7 Go. À titre indicatif, un Mac avec 24 Go de mémoire exécute le Q3T de Gemma 4, Qwen3.6 et Ornith 1.5, et à partir de 32 Go, le Q4T de tous les modèles.

Vers la page Q.E.L.V.A.R.I.

Réduire la taille,
pour préserver l'essentiel.

SEVEN CORES / ONE CONSCIOUSNESS