개인용 그래픽카드에서 대형 언어 모델을 실험하는 개발자를 위해, 답변 거부를 줄인 압축 모델에 생성 속도를 높이는 예측 장치를 붙인 빌드가 공개됐다. 속도 향상과 함께 메모리 사용량도 늘어나므로, 카드 용량과 처리할 글의 길이에 맞춰 선택해야 한다.

1. 비검열 처리와 가속 장치는 별개다

기반은 OS-Software의 Ternary Bonsai 2 27B 비검열 빌드이며, 여기에 Qwen 3.8 27B의 다중 토큰 예측 헤드를 이식했다. 비검열 처리는 기반 제작자의 작업이며, 이번 배포자의 기여는 헤드 이식과 통합 파일, 관련 도구와 핵심 계산 코드다. 공식 원제작사 배포판은 아니다.

삼진 압축은 가중치를 세 값으로 표현해 저장 공간을 줄이는 방식이다.

다중 토큰 예측은 보조 장치가 다음 내용을 미리 쓰고 본 모델이 확인하는 방식으로, 통과한 초안을 활용해 생성을 빠르게 한다. 배포자에 따르면 기반 가중치는 그대로 두고 예측용 텐서 15개, 335 MiB를 덧붙였다.

2. 전용 실행판과 설정이 필요하다

일반 llama.cpp는 이 파일의 압축 형식을 읽지 못한다. 성능 측정에는 PrismML 계열 실행판을 수정한 bonsai2 브랜치를 썼으며, 필요한 예측 헤드 수정도 포함돼 있다. 아래는 모델 카드의 12GB 카드용 실행 예시다.

hf download sudoingx/Offrail-27B-Uncensored Offrail-27B-12G.gguf --local-dir .
GGML_CUDA_BATCH_INVARIANT=1 llama-server -m Offrail-27B-12G.gguf \
  -ngl 99 -fa on -c 131072 -np 1 -ctk q4_0 -ctv q4_0 --jinja \
  --reasoning-effort medium --spec-type draft-mtp --spec-draft-n-max 1

카드는 예시처럼 추론 노력을 중간 수준으로 설정하라고 권한다. 기본 최상위 설정은 RTX 3060에서 응답 상한을 4,096토큰으로 둔 세 빌드 작업에서 답변을 반환하지 못했다고 설명한다.

3. 같은 조건에서는 약 20% 빨라졌다

배포자의 측정 조건은 RTX 3060 12GB, 처리 슬롯 하나, 사고 모드 끔, q4_0 형식의 키·값 캐시, 어텐션 가속 기능 켬이다. 캐시는 앞서 처리한 내용을 재사용하는 저장 공간이다. 배치에 따른 계산 차이를 줄이는 설정을 켜고, 프롬프트 3개를 각각 3회 실행해 400토큰 생성 결과의 중앙값을 냈다.

한 번에 다룰 수 있는 범위인 문맥 창을 131,072토큰으로 두고 초안을 최대 1토큰으로 설정했을 때, 12GB용 파일은 헤드를 끄면 초당 41.4토큰, 켜면 50.8토큰이었다. 같은 조건의 8GB용 파일은 41.4에서 49.6으로 올랐다. 각각 약 23%, 20% 개선이다. 8GB용 파일의 개선폭은 코드 32%, 산문 6%로, 작업별 차이도 컸다. 배포자는 고정밀도 모델 내부 상태로 학습한 헤드가 삼진 압축된 본체를 읽는 점을 산문 초안의 약점으로 설명한다.

4. 속도의 대가는 메모리와 문맥 길이다

12GB용 파일은 위 조건에서 헤드를 켜면 적재 후 그래픽 메모리가 8,734 MiB에서 10,618 MiB로 늘었다. 반면 8GB용 파일은 예측 장치용 토큰 임베딩, 즉 토큰을 수치로 바꾸는 표의 사본을 생략해 682 MiB를 아낀다. 파일 이름은 긴 문맥에서도 해당 용량에 들어간다는 보장이 아니다.

실제 8GB 카드용 안내는 Offrail-27B-8G.gguf에 문맥 창 49,152토큰, 한 번에 묶어 계산하는 양인 마이크로배치 256, 초안 최대 2토큰을 적용하는 것이다. 이때 적재 후 사용량은 7,732 MiB다. 같은 카드가 화면 표시도 맡으면 문맥 창 32,768토큰을 권하며 사용량은 7,300 MiB다. 후자의 속도는 제시되지 않았다.

5. 출력 동일성과 안전성을 구분해야 한다

예시의 배치 불변성 설정을 켠 시험에서 두 파일 모두 헤드 사용 전후의 출력이 바이트 단위로 같았다. 온도 0, 상위 후보 1개, 300토큰, 프롬프트 3개 조건의 결과다. 설정을 끄면 연산 순서 차이로 출력이 달라질 수 있고, RTX 20 계열에서는 설정이 일부 계산 경로를 포괄하지 못한다. 이는 원래 모델과의 품질 동등성을 뜻하지 않는다.

거부 응답이 100문항 중 원본 95건에서 0건으로 줄었다는 수치는 기반 제작자의 소규모 시험이다. 이번 빌드 자체의 거부 기준선, 이미지 입력, 문맥 깊이별 성능과 동시 실행 검증은 제시되지 않았다.

기반 제작자는 유해하거나 부정확한 출력 위험을 경고하며 연구·실험용으로 한정하고 공개·최종 사용자 서비스 배포를 피하라고 권한다.

이 빌드의 선택 기준은 비검열이라는 이름보다, 추가 메모리를 감수할 만큼 작업별 가속이 유용한지에 있다.