Q4T / Q3T
Quantization by Q.E.L.V.A.R.I.
Klein und originalgetreu.※1
Die Technik, die KI-Modelle verkleinert, damit sie auf dem Mac laufen, heißt „Quantisierung“. Die Modelle in R.E.V.I.S. v1.3.0 werden nach unserem eigenen Quantisierungsrezept Q4T und Q3T gefertigt. Das Ziel: selbst in kleiner Form so nah wie möglich am Originalmodell zu antworten.
Welcher Teil bekommt wie viele Bits
- Großteil des Modells
- 4 / 3 BIT
- Teile für den Aufbau der Antwort
- Feiner
- Auswahl der Experten usw.
- Unverändert
Die Anteile dienen der Veranschaulichung.
What is Quantization
Quantisierung heißt: weniger Stellen pro Gewicht.
Ein KI-Modell besteht aus Milliarden von Zahlen – den Gewichten. Im Originalmodell belegt jedes Gewicht 16 Bit. Senkt man das auf 4 Bit, schrumpft die Größe auf rund ein Viertel und passt viel leichter in den Arbeitsspeicher deines Mac. Wird dabei aber grob gekürzt, leidet die Qualität der Antworten.
- Originalmodellca. 70 GB
- Q4T19.2 GB
- Q3T15.2 GB
Die Kästchen zeigen die Bitzahl pro Gewicht im Großteil des Modells (Original: 16, Q4T: 4, Q3T: 3).
Klein
Gewichte mit 16 Bit werden auf 4 oder 3 Bit gebracht. Selbst ein 35B-Modell läuft so auf einem Mac mit 24 GB Arbeitsspeicher (Q3T).
Originalgetreu
Wo man spart und was man erhält: Diese Entscheidung bestimmt, wie nah die Antworten am Originalmodell bleiben.
Bei dir vor Ort
Das verkleinerte Modell läuft direkt auf deinem Mac. Gespräche müssen nicht in die Cloud gesendet werden.
The Recipe
Je nach Teil eine andere Bitzahl.
In einem Modell gibt es Bereiche, die auch mit wenigen Bits stabil antworten, und solche, in denen schon kleinste Abweichungen spürbar werden. Q4T und Q3T sind feste Rezepte, die jedem Bereich genau die passende Bitzahl zuweisen.
| Großteil des ModellsExperten-Schichten usw. | 4 Bit bei Q4T, 3 Bit bei Q3T. Weil dieser Teil schrumpft, wird das gesamte Modell deutlich kleiner. |
|---|---|
| Teile für den Aufbau der Antwort | Behalten ihre Feinabstufung. |
| Auswahl des zuständigen Experten usw. | Wird nicht verkleinert, sondern bleibt im Originalzustand.Ein empfindlicher Bereich, in dem schon kleinste Abweichungen entscheiden, welcher Experte gewählt wird. |
Not Just Rounding
Mehr als nur Stellen streichen.
Herkömmliche Quantisierung rundet jedes Gewicht einzeln auf die nächstgelegene Stufe – wie bei einem Bild, dessen Auflösung man zu einem groben Mosaik verringert. Q4T und Q3T wandeln die Werte zuerst um und packen sie dann, ähnlich wie bei JPEG. Bei gleicher Datenmenge bleibt so deutlich mehr Information erhalten.
Originalbild
Normale QuantisierungAuflösung senken (Mosaik)
Q4T / Q3TErst umwandeln, dann packen (wie JPEG)
Normale Quantisierung
Jeden Wert einzeln zur nächsten Stufe runden
Q4T / Q3T — 1
Zuerst Ausreißer ausgleichen
Q4T / Q3T — 2
Für ganze Folgen den besten Pfad wählen
| Normale Quantisierung | Q4T · Q3T | |
| Rundung | Wert für Wert zur nächsten Stufe | Pro Folge den Pfad mit dem kleinsten Fehler wählen |
| Ausreißer | Machen das Raster grob | Vor dem Packen ausgleichen |
| Behandlung nach Bereich | Überall fast gleiche Bitzahl | Je nach Bereich festgelegt (4 bzw. 3 Bit / feiner / unverändert) |
Data-Free
Ohne Kalibrierungsdaten.
Passt man die Quantisierung an Beispieldaten (Kalibrierungsdaten) an, schneidet das Modell auf diesem Gebiet zwar gut ab – doch was sich bei allen anderen Aufgaben verändert hat, lässt sich nicht mehr überblicken. Q4T und Q3T verzichten auf Kalibrierungsdaten und folgen allein einem mathematisch festgelegten Verfahren, das die Abweichung zu den Originalgewichten minimiert.
| Quantisierung mit Kalibrierungsdaten | Q4T · Q3T | |
| Angepasstes Gebiet | Zeigt dort gezielte Stärke | Belegbar durch Nähe zum Originalmodell |
| Alle anderen Gebiete | Veränderungen lassen sich nicht überprüfen | Mit demselben Maßstab (Nähe zum Original) messbar |
| Herstellung | Ergebnis hängt von den gewählten Daten ab | Rein mathematisch festgelegtes Verfahren |
Keine Schlagseite
Wir trimmen das Modell nicht auf bestimmte Fachgebiete oder Sprachen. Unser einziges Ziel ist, bei jeder Nutzung nah am Originalmodell zu bleiben.
Kein Nachtrainieren
Wir trainieren das Modell auch nicht um. Es handelt sich schlicht um die quantisierte Fassung des öffentlich verfügbaren Originalmodells.
Prüfen über die Nähe zum Original
Darum lässt sich die Qualität mit einem einzigen Maßstab messen: wie nah das Modell dem Original kommt. Die folgenden Diagramme zeigen die Ergebnisse dieser Messung.
Measured
Klein, aber nah am Original.
Wir haben die Modelle dieselben Texte lesen lassen und gemessen, wie stark ihre Wortwahl für das jeweils nächste Wort vom Originalmodell abweicht. Je kürzer der Balken, desto näher liegt die Antwort am Original.※2
- Normal Q837.7 GB0.0066
- Q5T23.8 GB0.0090
- Normal Q629.3 GB0.0116
- Q4T19.2 GB0.0181
- Normal Q524.9 GB0.0248
- Q3T15.2 GB0.0356
- Normal Q420.7 GB0.0682
- Normal Q828.0 GB0.0110
- Q5T19.4 GB0.0136
- Normal Q621.9 GB0.0268
- Q4T15.6 GB0.0373
- Normal Q518.6 GB0.0638
- Q3T12.5 GB0.0650
- Normal Q415.5 GB0.2367
Bei gleicher Größe nur ein Viertel bis Sechstel der Abweichung
Verglichen mit normalem Q4 fast gleicher Größe lag die Abweichung von Q4T bei Qwen3.6 bei rund einem Viertel, bei Gemma 4 bei rund einem Sechstel.
Kleiner als normales Q5 – und trotzdem näher dran
Obwohl Q4T kleiner ist als normales Q5, fällt die Abweichung geringer aus. Das gilt für beide Modelle.
Selbst mit 3 Bit näher am Original als normales Q4
Sogar das noch kleinere Q3T kommt dem Originalmodell näher als ein normales Q4.
Models
Lauffähige Modelle.
| Modell | Größe (Q4T / Q3T) |
|---|---|
| Gemma 4 26B MoE | 15.6 GB / 12.7 GB |
| Qwen3.6 35B MoE | 19.4 GB / 15.6 GB |
| Ornith 1.5 35B MoE | 19.4 GB / 15.6 GB |
| Qwen3.8 27B | 20.1 GB / 17.6 GB |
Die Größen enthalten das MTP-Entwurfsmodell (GiB). Laden lässt sich, was in den eingebauten Arbeitsspeicher abzüglich etwa 7 GB passt. Als Richtwert: Ein Mac mit 24 GB Arbeitsspeicher führt das Q3T von Gemma 4, Qwen3.6 und Ornith 1.5 aus, ab 32 GB das Q4T aller Modelle.
Verkleinern,
um das Wesentliche zu bewahren.
SEVEN CORES / ONE CONSCIOUSNESS