購入

Q4T / Q3T

Quantization by Q.E.L.V.A.R.I.

小さく、そして忠実に。※1

AIのモデルを小さくして、Macで動かせるようにする技術が「量子化」です。R.E.V.I.S. v1.3.0 のモデルは、独自の量子化レシピ Q4T・Q3T で作っています。目指したのは、小さくしても、元のモデルに近い答え方をすること。

4-BIT / 3-BITDATA-FREE

What is Quantization

量子化とは、重みの桁を減らすこと。

AIのモデルは、何十億もの数（重み）でできています。元のモデルは1つの重みを16ビットで持ちますが、これを4ビットにすれば、大きさはおよそ4分の1。そのぶん、Macのメモリに収めやすくなります。ただ、減らし方が雑だと、答えの質が落ちます。

Qwen3.6 35B の大きさ（重み）
  1. 元のモデル約 70 GB
  2. Q4T19.2 GB
  3. Q3T15.2 GB

四角は、モデルの大部分の重み 1 つあたりのビット数（元は 16、Q4T は 4、Q3T は 3）。

小さく

16ビットの重みを、4ビット・3ビットに。35B のモデルも、メモリ 24GB の Mac で動かせます（Q3T）。

忠実に

どこを削り、どこを残すか。その決め方で、元のモデルにどれだけ近い答えを返せるかが決まります。

手元で

小さくなったモデルは、あなたのMacの中で動きます。会話をクラウドへ送る必要はありません。

The Recipe

部分ごとに、ビット数を変える。

モデルの中には、少ないビットでも答えが崩れにくい部分と、わずかな誤差が響く部分があります。Q4T・Q3T は、部分の種類ごとにビット数を決めた、決まったレシピです。

モデルの大部分専門家層などQ4T は 4 ビット、Q3T は 3 ビットに。ここが小さくなるぶん、モデル全体が小さくなります。
答えの組み立てにかかわる部分細かさを残します。
どの専門家を使うかを選ぶ部分 など小さくせず、元のまま残します。わずかな差で選ぶ専門家が入れ替わる、繊細な部分だからです。

Not Just Rounding

桁を切るだけじゃない。

一般的な量子化は、重みを一つずつ、いちばん近い目盛りに丸めるだけ。画像でいえば、解像度を落としてモザイクにするようなものです。Q4T・Q3T は、JPEG のように一度変換してから詰めます。同じデータ量でも、残る情報がまるで違います。

元の画像

通常の量子化解像度を落とす（モザイク）

Q4T / Q3T変換してから詰める（JPEG のように）

画像での解説例です。真ん中と右は、どちらも元の 36 分の 1 のデータ量です。JPEG は人の目に合わせた調整を含むので、厳密には同じ仕組みではありません。

通常の量子化

一つずつ、近い目盛りへ丸める

重みはそれぞれ、いちばん近い目盛りに丸められます。ひとつでも飛び抜けた値（右端）があると、目盛りの幅がそれに合わせて広がり、ほかの値まで粗くなります。

Q4T / Q3T — 1

先に、ばらつきをならす

JPEG が画像を変換してから詰めるように、重みを数学的に回転させ（アダマール回転）、飛び抜けた値をほかの値へ散らします。値の幅がそろうので、少ないビットでも目盛りを細かく使えます。

Q4T / Q3T — 2

並びごとに、いちばん近い道を選ぶ

重みを一つずつではなく、並びとしてまとめて詰めます（トレリス符号化）。取りうる道筋の中から、元の並び（点線）との誤差が全体でいちばん小さくなる道を選んで記録します。
通常の量子化Q4T・Q3T
丸め方一つずつ、近い目盛りへ並びごとに、誤差が最小の道を選ぶ
飛び抜けた値目盛りが粗くなる先にならしてから詰める
部分ごとの扱いほぼ同じビット数部分ごとに決める（4・3 ビット／細かく残す／元のまま）

Data-Free

手本のデータを、使わない。

手本のデータ（校正データ）に合わせて量子化すると、その分野での強さは示せても、それ以外のすべてで何が変わったのかは、確かめようがなくなります。Q4T・Q3T は手本のデータを使わず、元の重みとの誤差を小さくするという、数式で決まる手順だけで作ります。

手本のデータに合わせる量子化Q4T・Q3T
合わせた分野強さを示せる元のモデルとの近さで示せる
それ以外のすべて何が変わったか、確かめようがない同じ物差し（元のモデルとの近さ）で示せる
作り方データしだいで結果が変わる数式で決まる手順だけ

分野に寄せない

特定の分野や言語に合わせた調整はしません。目指すのは、どの使い方でも元のモデルに近いことだけです。

学習し直さない

中身を作り変える学習もしていません。モデルは、公開されている元のモデルを量子化したものです。

近さで確かめる

だから出来は、「元のモデルにどれだけ近いか」という一つの物差しで測れます。このあとのグラフは、その物差しで測った結果です。

Measured

小さいのに、元に近い。

同じ文章を読ませて、次に来る言葉の選び方が元のモデルとどれだけずれるかを測りました。棒が短いほど、元のモデルに近い答え方をします。※2

Qwen3.6 35B MoE元のモデルとのずれ（短いほど元に近い）
  1. 通常の Q837.7 GB0.0066
  2. Q5T23.8 GB0.0090
  3. 通常の Q629.3 GB0.0116
  4. Q4T19.2 GB0.0181
  5. 通常の Q524.9 GB0.0248
  6. Q3T15.2 GB0.0356
  7. 通常の Q420.7 GB0.0682
Gemma 4 26B MoE元のモデルとのずれ（短いほど元に近い）
  1. 通常の Q828.0 GB0.0110
  2. Q5T19.4 GB0.0136
  3. 通常の Q621.9 GB0.0268
  4. Q4T15.6 GB0.0373
  5. 通常の Q518.6 GB0.0638
  6. Q3T12.5 GB0.0650
  7. 通常の Q415.5 GB0.2367

同じ大きさなら、ずれは 4〜6 分の 1

Q4T のずれは、ほぼ同じ大きさの通常の Q4 と比べて、Qwen3.6 で約 4 分の 1、Gemma 4 で約 6 分の 1 でした。

通常の Q5 より、小さくて近い

Q4T は、通常の Q5 より小さいのに、ずれも小さくなりました。どちらのモデルでも同じです。

3 ビットでも、通常の Q4 より近い

さらに小さい Q3T でも、通常の Q4 より元のモデルに近い結果です。

Models

動かせるモデル。

モデル大きさ（Q4T / Q3T）
Gemma 4 26B MoE15.6 GB / 12.7 GB
Qwen3.6 35B MoE19.4 GB / 15.6 GB
Ornith 1.5 35B MoE19.4 GB / 15.6 GB
Qwen3.8 27B20.1 GB / 17.6 GB

大きさはMTPの下書きのモデルを含みます（GiB）。読み込めるのは、搭載メモリからおよそ7GBを除いた範囲です。メモリ24GBのMacでは Gemma 4・Qwen3.6・Ornith 1.5 の Q3T、32GB以上ではすべてのモデルの Q4T が目安です。

Q.E.L.V.A.R.I. のページへ

小さくするのは、
残すべきものを残すため。

SEVEN CORES / ONE CONSCIOUSNESS

7つの頭脳。1つの意識。

  1. R.E.V.I.S.COGNITIVE OS
  2. Q.E.L.V.A.R.I.INFERENCE ENGINE
  3. F.A.L.Q.TASK QUEUE
  4. M.μ.X.I.S.TASK SCHEDULER
  5. J.I.T.R.X.PROMPT COMPILER
  6. L.A.T.R.I.O.RESPONSE RENDERER
  7. K.E.C.H.I.PERSONAL CONTEXT

あなたの Mac を、本物の AI に。

エディションと価格を見る R.E.V.I.S. の製品ページへ

※2 元のモデル（BF16）を基準に、48 の文書・約 1 万 8 千か所で、次に来る言葉の確率の分布のずれ（KLダイバージェンス）を測った平均です。「通常の」は、一般的な affine 方式で当社が量子化したもの（出力の層などは細かめに残した、有利な条件）。研究用の環境で、重みの値どおりに計算して測りました。大きさは重みのみ（GB）。Q5T は同じレシピの 5 ビット版で、R.E.V.I.S. v1.3.0 で使えるのは Q4T と Q3T です。

※1 精度は、元のモデルの出力をどれだけ忠実に再現できるかを示すもので、元のモデルを上回る性能を意味するものではありません。速度は、モデル・Mac・入力によって変わります。