Q.E.L.V.A.R.I.
Native Inference Engine
世界最高の精度と速度を。※1
Macのために一から作った推論エンジン。Appleシリコンに最適化した独自カーネルで、限界の速さを。独自の量子化で、元のモデルに近い精度を保ったまま軽く動かします。推論はMacの中で行い、会話をクラウドへ送りません。
Why Native
あいだに、何も挟まない。
多くのローカルAIは、Pythonの実行環境やローカルのサーバーを介してモデルを動かします。Q.E.L.V.A.R.I. はMacのためだけに書いたネイティブのエンジンで、R.E.V.I.S. の中から直接モデルを動かします。
Appleシリコンのために
MLXを土台に、Metalの独自カーネルで計算を詰めました。CPUとGPUが同じメモリを使うAppleシリコンの作りを、そのまま速さに変えます。
Macの中だけで
推論のための通信はありません。会話もファイルも、モデルが読んだ文脈も、あなたのMacの中にとどまります。
Speculative Decoding
先に書いて、まとめて確かめる。
MTP(Multi-Token Prediction)では、小さな下書きのモデルが先に何語かを書き、本体のモデルがそれをまとめて確かめます。採用するのは、本体が確かめた言葉だけ。1語ずつ書くより少ない手順で、答えが進みます。
下書きが外れたときは、本体のモデルが書き直します。速さの伸びは、モデル・文脈の長さ・同時に動かす数によって変わります。
Context Memory
続きの会話は、読み直さない。
モデルが読み終えた文脈(KVキャッシュ)を、暗号化してMacのSSDに残します。会話を再開するとき、最初から読み直す手間を省けます。
暗号化して、手元に
残した文脈は暗号化して保存し、続きの会話ではそこから再開します。
同時に、いくつも
会話の返事と、裏で進むタスクの生成を、1台のMacの上で並べて走らせられます。
意味の検索も、同じ場所で
言葉の意味をベクトルにする埋め込みのモデルも、同じエンジンが動かします。K.E.C.H.I. の検索を支える部分です。
Measured
数字で見る。
会話のたびに、すべてを読み直すわけではありません。読み終えた文脈は手元に残し、新しく加わった分――あなたの一言や、ツールの結果――だけを読んで、答えを書きます。そこで、すでに読んだ文脈の長さごとに、新しい入力を読む速さと、答えを書く速さを、5 台の Mac で測りました。どの速さも、計算の精度を削らずに出したものです。※2
Mac による違い
どの Mac でも動く Qwen3.6 35B と Gemma 4 26B で比べました。すでに読んだ文脈が 16K(ふだんの使い方でよくある長さ)のときの速さです。
- M5 Ultra
- M5 Max
- M4 Max
- M5 Pro
- M4 Pro
- M5 Ultra
- M5 Max
- M4 Max
- M5 Pro
- M4 Pro
書く速さの目安
答えを書く速さ(デコード)を、実際の速さで再現します。Qwen3.6 35B、文脈 16K のときの速さです。Mac を選んで、再生してください。
人が黙読する速さは、1 秒に 8〜10 字ほどです。
1.75字/秒238経費精算は、申請・承認・支払いの 3 つの段階で進みます。 まずは申請です。使った日から 1 か月以内に、申請フォームへ日付・金額・目的を入力し、領収書の写真を添えて送ります。交通費は、乗った区間と運賃を書けば領収書はいりません。ただし、タクシーと新幹線は領収書が必要です。 次に承認です。申請が届くと、上長が内容を確かめて承認します。5 万円を超えるものは、部長の承認も必要です。内容に不足があると差し戻されるので、目的は「誰と、何のために」まで具体的に書いておくと安心です。 最後に支払いです。経理が確認したうえで、毎月 20 日までに承認されたものは、その月の 25 日に給与と一緒に振り込まれます。20 日を過ぎたものは翌月の支払いになります。 迷ったときは、まず社内ポータルの「経費精算の流れ」を確認してください。それでも分からないことがあれば、経理の窓口に問い合わせれば、たいていその日のうちに答えてもらえます。
文脈の長さと、速さ
すでに読んだ文脈が長くなるほど、読む速さも書く速さも下がっていきます。横軸が文脈の長さ(1K〜128K トークン)、縦軸が速さです。Mac を選んでください。
※2 R.E.V.I.S. の製品と同じ設定で測りました。速さは、モデル・Mac・入力によって変わります。tok/s は、1 秒あたりに処理するトークン(言葉の単位)の数です。
Models
動かせるモデル。
Q.E.L.V.A.R.I. で動作を確かめたモデルだけを読み込めます。新しいモデルにも、順次対応していきます。
| モデル | 大きさ(Q4T / Q3T) |
|---|---|
| Gemma 4 26B MoE | 15.6 GB / 12.7 GB |
| Qwen3.6 35B MoE | 19.4 GB / 15.6 GB |
| Ornith 1.5 35B MoE | 19.4 GB / 15.6 GB |
| Qwen3.8 27B | 20.1 GB / 17.6 GB |
大きさはMTPの下書きのモデルを含みます(GiB)。読み込めるのは、搭載メモリからおよそ7GBを除いた範囲です。メモリ24GBのMacでは Gemma 4・Qwen3.6・Ornith 1.5 の Q3T、32GB以上ではすべてのモデルの Q4T が目安です。
量子化について詳しくモデルは部品。
速さと確かさは、エンジンで決まる。
SEVEN CORES / ONE CONSCIOUSNESS