로컬 언어 모델을 시험하는 개발자를 위해, 가중치의 부호를 1비트로 저장하는 소형 모델이 공개됐다. 저장 공간은 크게 줄었지만 평가 점수도 낮아져, 파일 크기와 작업 품질을 함께 따져야 한다.
1. 가중치 데이터와 다운로드 파일은 다르다
프리시전 뉴머릭스는 2026년 10월 11일 Boole-1.7B를 공개했다. Qwen3-1.7B를 기반으로 만들었으며, 영어로 답을 생성하고 별도 사고 모드를 끄는 용도를 대상으로 한다.
발표문의 가중치 데이터는 247.0MB로, 16비트 부동소수점 형식인 BF16 원본의 3,441.1MB보다 13.9배 작다. 1비트는 각 가중치의 양·음 부호를 남긴다는 뜻이고, 크기는 여러 가중치가 공유하는 배율로 보완한다. 이 배율도 저장 공간을 차지한다.
위 용량은 헤더·메타데이터·토크나이저를 제외한 가중치 데이터 기준이다. 실제 safetensors 파일은 247.1MB이며, CPU에서도 실행하는 GGUF 파일은 292.1MB다. 전자는 입력을 수치로 바꾸는 임베딩 행렬과 출력을 계산하는 행렬의 부호 비트를 공유하지만, 후자는 두 행렬을 따로 저장하기 때문이다.
2. 평균 하락은 능력별로 같지 않다
회사 평가는 열 과제에 같은 비중을 주며, 예시를 주지 않고 사고 모드를 끈 조건이다. 기본은 가장 확률 높은 답을 고르는 생성 방식이다. 예외인 GPQA-Diamond는 답의 무작위성을 조절하는 온도를 0.6으로, 후보를 좁히는 누적 확률 기준을 0.95로 설정해 열 번 생성한 평균을 쓴다.
평균은 원본 58.83에서 50.55로 8.28점 낮아졌다. 발표문의 85.9%는 두 평균의 비율이지, 임의의 질문에 그만큼 정답을 내거나 각 능력을 같은 비율로 보존한다는 뜻이 아니다.
같은 평가의 수학 과제인 MATH-500은 74.20에서 49.80으로 떨어졌다. 반면 지시 이행 과제인 IFBench는 17.67에서 18.25로 소폭 올랐다. 평균 하락만으로 개별 작업의 손실을 추정하기 어려운 이유다.
같은 회사가 같은 평가 체계로 비교한 Bonsai-1.7B는 242.4MB에 평균 44.97이었다. Ternary-Bonsai-1.7B는 가중치 약 457MB에 51.57로, 이번 모델보다 약 1.9배 큰 대신 평균이 1.02점 높았다. 이는 각 제작사가 별도로 낸 다른 과제 구성의 점수와 섞어 비교할 수 없다.
프리시전 뉴머릭스의 평가다. 평균은 열 과제의 동일 비중 평균이며, 저장 크기는 파일 헤더·메타데이터·토크나이저를 뺀 가중치 데이터(양자화 배율 포함)다. 실행 메모리와 지연 시간은 재지 않았다.
| 모델 | 형식 | 가중치 저장(MB) | 10개 과제 평균 |
|---|---|---|---|
| Qwen3-1.7B | BF16 | 3,441.1 | 58.83 |
| Boole-1.7B | 1비트 | 247.0 | 50.55 |
| Ternary-Bonsai-1.7B | 2비트 묶음(2.13 BPW) | 457.3 | 51.57 |
| Bonsai-1.7B | 1비트 | 242.4 | 44.97 |
3. 실행은 선택한 형식에 맞춘다
예제 저장소는 Python 3.10 이상을 요구한다. 내려받기 도구를 준비한 환경에서 실행하는 다음 코드는 원문의 CUDA GPU용 예시이며, 문맥 길이를 4,096토큰으로 설정하고 사고 모드를 끈다.
git clone https://github.com/PrecisionNumerics/boole-demo.git && cd boole-demo
hf download precision-numerics/Boole-1.7B-GGUF Boole-1.7B-Q1_0.gguf --local-dir model
bash scripts/setup_llama_cpp.sh
third_party/llama.cpp/build/bin/llama-server \
-m model/Boole-1.7B-Q1_0.gguf -ngl 99 -c 4096 \
--reasoning offGGUF는 llama.cpp로 CPU 또는 지원 GPU에서 실행한다. CPU 전용 실행은 원문 안내대로 GPU 지원을 끄고 빌드하며, 서버가 GPU로 넘길 계층 수를 0으로 지정한다.
4. 저장 공간 절약과 실행 효율은 구분해야 한다
이익은 저장 공간 절약이고, 확인된 비용은 평가 품질의 하락이다. 별도 GPU 경로인 vLLM과 Humming의 실행 예제는 16비트 자료형을 요청하므로, 1비트 저장을 추론 전체의 1비트 연산으로 읽어서도 안 된다.
실행 중 최대 메모리, 첫 토큰까지 걸리는 시간, 생성 속도의 측정치는 제시되지 않았다. 따라서 작은 파일만으로 저메모리·고속 실행을 보장할 수 없다. 채택 전에는 목표 기기에서 실제 문맥 길이에 따른 자원 사용과 필요한 작업의 신뢰성을 따로 재야 한다.
Boole-1.7B는 저장 공간이 제약일 때 검토할 후보지만, 원본 대비 평균 8.28점의 손실을 감수할지는 실제 작업에서 판단해야 한다.