Local AI
Cloud AI / Local AI
AI를, 내 손안에 둔다는 것.
AI에는 인터넷 너머의 서버에서 작동하는 '클라우드 AI'와 당신의 Mac 안에서 작동하는 '로컬 AI'가 있습니다. 둘 다 잘하는 것과 약한 것이 있습니다. 그 차이와, R.E.V.I.S.가 로컬 AI의 약점을 어떻게 넘어설지 정리했습니다.
CLOUD AI
- 당신
- 인터넷
- 서비스의 서버
입력은 서버에서 처리됩니다.
LOCAL AI — R.E.V.I.S.
- 당신
- 당신의 Mac
생각하는 것도, 기억하는 것도, Mac 안입니다.
The Difference
어디서 생각하는지가, 다릅니다.
같은 'AI'라도 어디서 작동하는지에 따라 데이터가 가는 곳도, 요금 형태도, 필요한 것도 달라집니다.
| 클라우드 AI | 로컬 AI (R.E.V.I.S.) | |
|---|---|---|
| 생각하는 곳 | 서비스의 서버 | 당신의 Mac |
| 입력한 데이터 | 인터넷을 거쳐 서비스로 전달됩니다. | Mac 밖으로 나가지 않습니다. |
| 요금 | 월 구독료나 사용한 양에 따라. | 일회성 구매. 많이 써도 늘어나지 않습니다. |
| 모델의 크기 | 최대급 모델도 사용할 수 있습니다. | Mac의 메모리에 들어가는 크기까지. |
| 필요한 것 | 인터넷에 연결되는 기기. | 메모리가 넉넉한 Mac. |
| 바뀔 때 | 모델이나 사용할 수 있는 양은 서비스 사정에 따라 바뀔 수 있습니다. | 사용하는 모델은 당신이 선택한 것입니다. |
Strengths
손안에 있기에, 할 수 있는 것.
많이 써도 비싸지지 않음
요금은 일회성 구매. 긴 문서를 몇 번이나 읽혀도, 많이 질문해도 비용은 늘어나지 않습니다.
늘 쓰던 파트너 그대로
사용하는 모델이 모르는 사이에 바뀌거나, 사용할 수 있는 양이 제한되지 않습니다.
당신의 손안에서 자란다
기억한 취향도, 지난 대화도, 조사한 내용도 당신의 Mac에 차곡차곡 쌓여 갑니다.
Weaknesses — and Our Answers
약점도, 솔직하게. 그리고, 넘어선다.
로컬 AI에는 분명한 약점이 있습니다. R.E.V.I.S.는 그 하나하나에 엔진부터 정성껏 설계하여 맞서고 있습니다.
-
01
모델이 작아지기 쉬움
Mac의 메모리에 담아야 하므로, 최대급 클라우드 AI보다 작은 모델을 쓰게 됩니다.
독자적인 양자화 Q4T·Q3T로 원래 모델에 가까운 정확도를 유지한 채 크기를 줄여, 35B급 모델을 메모리 24GB의 Mac에서도 구동합니다. 지시는 모델마다 J.I.T.R.X.가 구성하여 각각의 강점을 끌어냅니다.
양자화 자세히 보기 -
02
속도는 Mac에 달림
데이터센터의 전용 기계가 아니라, 손안의 Mac에서 계산합니다.
Mac만을 위해 처음부터 만든 추론 엔진 Q.E.L.V.A.R.I.가 Apple 실리콘의 힘을 그대로 속도로 바꿉니다. 작은 초안 모델이 먼저 쓰는 MTP로 답이 진행되는 단계도 줄였습니다.
속도를 숫자로 보기 -
03
한 대로는 한계가 있음
동시에 처리할 수 있는 일의 양은 Mac 한 대의 메모리와 계산 능력으로 정해집니다.
같은 네트워크에 여러 대의 Mac이 있으면, F.A.L.Q.가 여유 있는 Mac으로 자동으로 일을 분담합니다.PRO
F.A.L.Q. 자세히 보기 -
04
지식이 학습한 시점에 멈춤
모델은 만들어진 뒤의 일을 알지 못합니다.
필요할 때는 Web을 찾아본 뒤 답하고, 읽은 페이지의 링크를 덧붙입니다. 대화의 내용을 보내는 일은 없습니다.
-
05
긴 대화일수록 무거워짐
대화가 길어질수록 다시 읽는 양이 늘어나 답이 느려집니다.
다 읽은 문맥은 암호화하여 Mac에 남기고, 이어지는 대화는 새로 추가된 부분만 읽습니다. 주제별로 대화를 나누어 유지하므로 상관없는 이야기로 문맥이 불어나지 않습니다.
-
06
준비에 손이 많이 감
대부분의 로컬 AI는 실행 환경이나 모델을 직접 준비해야 합니다.
Python 같은 실행 환경을 따로 준비할 필요가 없습니다. 앱을 설치한 뒤 설정의 "다운로드"에서 모델을 고르기만 하면 됩니다. 불러오기 전에 Mac의 메모리에 들어가는지도 확인합니다.
Honestly
그럼에도, 닿지 않는 곳.
최대급 클라우드 AI와 완전히 같은 지능이 되는 것은 아닙니다. R.E.V.I.S.가 지향하는 것은 내 손안의 데이터를 밖으로 내보내지 않고도 매일의 일을 안심하고 맡길 수 있는 AI입니다. 그 차이를 엔진과 모델의 치밀한 설계로 조금씩 좁혀 가고 있습니다.
AI를, 당신의 손안에.
약점은, 치밀한 설계로 넘어선다.
SEVEN CORES / ONE CONSCIOUSNESS