Local AI
Cloud AI / Local AI
AIを、手元に置くということ。
AIには、インターネットの向こうのサーバーで動く「クラウドAI」と、あなたのMacの中で動く「ローカルAI」があります。どちらにも、得意なことと苦手なことがあります。その違いと、R.E.V.I.S. がローカルAIの弱点をどう乗り越えようとしているかをまとめました。
CLOUD AI
- あなた
- インターネット
- サービスのサーバー
入力は、サーバーで処理されます。
LOCAL AI — R.E.V.I.S.
- あなた
- あなたのMac
考えるのも、覚えるのも、Macの中です。
The Difference
どこで考えるかが、違う。
同じ「AI」でも、どこで動くかによって、データの行き先も、料金のかたちも、必要なものも変わります。
| クラウドAI | ローカルAI（R.E.V.I.S.） | |
|---|---|---|
| 考える場所 | サービスのサーバー | あなたのMac |
| 入力したデータ | インターネットを通って、サービスに届きます。 | Macの外に出ません。 |
| 料金 | 月額や、使った量に応じて。 | 買い切り。使うほど増えることはありません。 |
| モデルの大きさ | 最大級のモデルも使えます。 | Macのメモリに収まる大きさまで。 |
| 必要なもの | インターネットにつながる端末。 | メモリを多く積んだMac。 |
| 変わるとき | モデルや使える量は、サービスの都合で変わることがあります。 | 使うモデルは、あなたが選んだものです。 |
Strengths
手元にあるから、できること。
使うほど、高くならない
料金は買い切り。長い書類を何度読ませても、たくさん質問しても、費用は増えません。
いつもの相棒のまま
使うモデルが知らないうちに入れ替わったり、使える量を絞られたりしません。
あなたの手元で、育つ
覚えた好みも、過去の会話も、調べた内容も、あなたのMacに積み上がっていきます。
Weaknesses — and Our Answers
弱点も、正直に。そして、越えにいく。
ローカルAIには、はっきりした弱点があります。R.E.V.I.S. は、そのひとつずつに、エンジンから作り込んで向き合っています。
-
01
モデルが小さくなりがち
Macのメモリに収める必要があり、最大級のクラウドAIより小さなモデルを使うことになります。
独自の量子化 Q4T・Q3T で、元のモデルに近い精度のまま小さくし、35B 級のモデルをメモリ 24GB の Mac でも動かします。指示はモデルごとに J.I.T.R.X. が組み立て、それぞれの得意を引き出します。
量子化について詳しく -
02
速さが、Macしだい
データセンターの専用の機械ではなく、手元のMacで計算します。
Macのためだけに一から書いた推論エンジン Q.E.L.V.A.R.I. が、Appleシリコンの力をそのまま速さに変えます。小さな下書きのモデルが先に書く MTP で、答えが進む手順も減らしています。
速さを数字で見る -
03
1台では、限りがある
同時にこなせる仕事の量は、Mac 1 台のメモリと計算の力で決まります。
同じネットワークに複数のMacがあれば、F.A.L.Q. が空いているMacへ自動で仕事を分担します。PRO
F.A.L.Q. について詳しく -
04
知識が、学習した時点で止まる
モデルは、作られた後の出来事を知りません。
必要なときは Web を調べてから答え、読んだページへのリンクを添えます。会話の中身を送ることはありません。
-
05
長い会話ほど、重くなる
会話が長くなるほど、読み直す量が増え、答えが遅くなります。
読み終えた文脈は暗号化して Mac に残し、続きは新しく加わった分だけを読みます。話題ごとに会話を分けて保つので、関係のない話で文脈がふくらみません。
-
06
準備に、手間がかかる
ローカルAIの多くは、実行環境やモデルを自分で用意する必要があります。
Python などの実行環境の用意は要りません。アプリを入れたら、設定の「ダウンロード」からモデルを選ぶだけ。読み込む前に、Mac のメモリに収まるかも確かめます。
Honestly
それでも、届かないところ。
最大級のクラウドAIと、まったく同じ賢さになるわけではありません。R.E.V.I.S. が目指しているのは、手元のデータを外に出さずに、毎日の仕事を安心して任せられるAIです。その差を、エンジンとモデルの作り込みで、少しずつ縮めています。
AIを、あなたの手元に。
弱点は、作り込みで越える。
SEVEN CORES / ONE CONSCIOUSNESS