Q4T / Q3T

Quantization by Q.E.L.V.A.R.I.

작게, 그리고 충실하게.^※1

AI 모델을 작게 만들어 Mac에서 실행할 수 있게 하는 기술이 '양자화'입니다. R.E.V.I.S. v1.3.0의 모델은 독자적인 양자화 레시피 Q4T·Q3T로 만듭니다. 목표로 삼은 것은, 작게 줄여도 원래 모델에 가까운 방식으로 답하는 것입니다.

4-BIT / 3-BITDATA-FREE

어느 부분을, 몇 비트로

모델의 대부분: 4 / 3 BIT
답변 구성에 관여하는 부분: 세밀하게
전문가를 고르는 부분 등: 원래 그대로

비율은 이해를 돕기 위한 예시입니다.

What is Quantization

양자화란, 가중치의 자릿수를 줄이는 것.

AI 모델은 수십억 개의 숫자(가중치)로 이루어져 있습니다. 원래 모델은 가중치 하나를 16비트로 가지지만, 이를 4비트로 줄이면 크기는 약 4분의 1이 됩니다. 그만큼 Mac의 메모리에 담기 쉬워집니다. 다만 거칠게 줄이면 답변의 품질이 떨어집니다.

Qwen3.6 35B의 크기(가중치)

원래 모델약 70 GB
Q4T19.2 GB
Q3T15.2 GB

사각형은 모델 대부분의 가중치 1개당 비트 수입니다(원래는 16, Q4T는 4, Q3T는 3).

작게

16비트 가중치를 4비트·3비트로. 35B 모델도 메모리 24GB Mac에서 실행할 수 있습니다(Q3T).

충실하게

어디를 줄이고 어디를 남길지. 그 기준에 따라 원래 모델에 얼마나 가까운 답을 돌려줄 수 있는지가 결정됩니다.

손안에서

작아진 모델은 당신의 Mac 안에서 실행됩니다. 대화를 클라우드로 보낼 필요가 없습니다.

The Recipe

부분마다, 비트 수를 달리합니다.

모델 안에는 적은 비트로도 답변이 쉽게 무너지지 않는 부분과, 작은 오차도 크게 영향을 미치는 부분이 있습니다. Q4T·Q3T는 부분의 종류마다 비트 수를 정해 둔 고정된 레시피입니다.

모델의 대부분전문가층 등	Q4T는 4비트, Q3T는 3비트로 줄입니다. 이 부분이 작아지는 만큼 모델 전체가 작아집니다.
답변 구성에 관여하는 부분	세밀함을 남깁니다.
어떤 전문가를 쓸지 고르는 부분 등	줄이지 않고, 원래 그대로 남깁니다.작은 차이로도 선택되는 전문가가 바뀌는 섬세한 부분이기 때문입니다.

Not Just Rounding

자릿수만 깎는 것이 아닙니다.

일반적인 양자화는 가중치를 하나씩 가장 가까운 눈금으로 반올림할 뿐입니다. 이미지로 치면 해상도를 낮춰 모자이크로 만드는 것과 같습니다. Q4T·Q3T는 JPEG처럼 한 번 변환한 뒤에 압축해 담습니다. 같은 데이터양이라도 남는 정보가 전혀 다릅니다.

이미지로 이해를 돕기 위한 예시입니다. 가운데와 오른쪽은 모두 원래의 36분의 1 데이터양입니다. JPEG는 사람의 눈에 맞춘 조정을 포함하므로, 엄밀히는 같은 구조가 아닙니다.

일반 양자화

하나씩, 가까운 눈금으로 반올림

가중치는 각각 가장 가까운 눈금으로 반올림됩니다. 유독 튀는 값(오른쪽 끝)이 하나라도 있으면 눈금 간격이 그에 맞춰 넓어져, 다른 값들까지 거칠어집니다.

Q4T / Q3T — 1

먼저, 편차를 고르게

JPEG가 이미지를 변환한 뒤 담아내듯, 가중치를 수학적으로 회전시켜(아다마르 회전) 유독 튀는 값을 다른 값들로 분산시킵니다. 값의 폭이 고르게 맞춰지므로, 적은 비트로도 눈금을 촘촘하게 쓸 수 있습니다.

Q4T / Q3T — 2

배열 단위로, 가장 가까운 길을 선택

가중치를 하나씩이 아니라, 이어진 배열로 묶어서 담아냅니다(트렐리스 부호화). 가능한 경로 중에서 원래의 배열(점선)과 전체 오차가 가장 작아지는 길을 골라 기록합니다.

	일반 양자화	Q4T·Q3T
반올림 방식	하나씩, 가까운 눈금으로	배열 단위로, 오차가 최소인 길을 선택
유독 튀는 값	눈금이 거칠어짐	먼저 고르게 편 뒤 담아냄
부분별 처리	거의 같은 비트 수	부분마다 다르게 지정(4·3비트 / 세밀하게 / 원래 그대로)

Data-Free

표본 데이터를, 쓰지 않습니다.

표본 데이터(보정 데이터)에 맞춰 양자화하면 그 분야에서의 강점은 보여줄 수 있어도, 그 밖의 모든 영역에서 무엇이 달라졌는지는 확인할 방법이 없어집니다. Q4T·Q3T는 표본 데이터를 쓰지 않고, 원래 가중치와의 오차를 줄인다는 수식으로 정해진 절차만으로 만듭니다.

	표본 데이터에 맞추는 양자화	Q4T·Q3T
맞춘 분야	강점을 보일 수 있음	원래 모델과의 가까움으로 보일 수 있음
그 밖의 모든 영역	무엇이 달라졌는지 확인할 수 없음	같은 잣대(원래 모델과의 가까움)로 보일 수 있음
만드는 방식	데이터에 따라 결과가 달라짐	수식으로 정해지는 절차만 사용

특정 분야에 치우치지 않습니다

특정 분야나 언어에 맞춘 조정은 하지 않습니다. 목표로 삼는 것은 어떤 용도에서든 원래 모델에 가까운 것뿐입니다.

다시 학습시키지 않습니다

내용을 바꾸는 추가 학습도 하지 않습니다. 모델은 공개되어 있는 원래 모델을 그대로 양자화한 것입니다.

가까움으로 확인합니다

따라서 완성도는 '원래 모델에 얼마나 가까운가'라는 하나의 잣대로 잴 수 있습니다. 이어지는 그래프는 그 잣대로 측정한 결과입니다.

Measured

작지만, 원래 모델에 가깝게.

같은 문장을 읽히고, 다음에 올 단어를 고르는 방식이 원래 모델과 얼마나 어긋나는지를 측정했습니다. 막대가 짧을수록 원래 모델에 가까운 방식으로 답합니다.^※2

Qwen3.6 35B MoE원래 모델과의 차이(짧을수록 원래 모델에 가까움)

일반 Q837.7 GB0.0066
Q5T23.8 GB0.0090
일반 Q629.3 GB0.0116
Q4T19.2 GB0.0181
일반 Q524.9 GB0.0248
Q3T15.2 GB0.0356
일반 Q420.7 GB0.0682

Gemma 4 26B MoE원래 모델과의 차이(짧을수록 원래 모델에 가까움)

일반 Q828.0 GB0.0110
Q5T19.4 GB0.0136
일반 Q621.9 GB0.0268
Q4T15.6 GB0.0373
일반 Q518.6 GB0.0638
Q3T12.5 GB0.0650
일반 Q415.5 GB0.2367

같은 크기라면, 차이는 4~6분의 1

Q4T의 차이는 거의 같은 크기의 일반 Q4와 비교해 Qwen3.6에서 약 4분의 1, Gemma 4에서 약 6분의 1이었습니다.

일반 Q5보다, 작고 더 가깝게

Q4T는 일반 Q5보다 작은데도 차이는 오히려 더 작아졌습니다. 두 모델 모두 마찬가지입니다.

3비트로도, 일반 Q4보다 가깝게

더 작은 Q3T조차도 일반 Q4보다 원래 모델에 더 가까운 결과를 보입니다.

Models

실행할 수 있는 모델.

모델	크기(Q4T / Q3T)
Gemma 4 26B MoE	15.6 GB / 12.7 GB
Qwen3.6 35B MoE	19.4 GB / 15.6 GB
Ornith 1.5 35B MoE	19.4 GB / 15.6 GB
Qwen3.8 27B	20.1 GB / 17.6 GB

크기는 MTP 초안 모델을 포함합니다(GiB). 탑재 메모리에서 약 7GB를 뺀 범위 안에서 모델을 불러올 수 있습니다. 기준으로, 메모리 24GB Mac에서는 Gemma 4·Qwen3.6·Ornith 1.5의 Q3T, 32GB 이상에서는 모든 모델의 Q4T를 사용할 수 있습니다.

Q.E.L.V.A.R.I. 페이지로

작게 만드는 것은,
남겨야 할 것을 남기기 위해.

SEVEN CORES / ONE CONSCIOUSNESS