Strata 0.2.11: Unsloth 양자화 지원, 다중 카드 분할

1. 새 양자화 일곱 종을 앱과 터미널에서 쓴다

이번 버전은 Unsloth가 11월 4일 다시 올린 Dynamic v3.1 양자화 파일 일곱 종을 지원한다. 대상 모델은 Qwen3.8-Flash-Next이며, 앱과 터미널에서 내려받아 준비하고 실행하거나 직접 받은 파일을 불러올 수 있다.

세트별 내려받기 크기는 다음과 같다. 파일은 지정 판본의 크기와 SHA-256, 파일 내용을 요약한 값으로 확인한다.

표: 새로 지원하는 양자화 세트의 내려받기 크기

조건: Unsloth의 Qwen3.8-Flash-Next, 판본 d9620119, 세트별 전체 내려받기 파일

단위: 내려받기 크기는 GB

세트마다 마지막 파일은 모델이 토큰마다 읽는 28.8GB 테이블이다. 새 UD-IQ4_XS-v31은 기존 UD-IQ4_XS와 파일 구성과 다차원 숫자 배열인 텐서 종류가 달라 별도로 제공되며, 기존 세트는 그대로 유지된다.

터미널에서는 아래 명령의 모델 이름 자리에 원하는 세트를 지정한다.

strata launch --family unsloth --model <name>

2. Radeon 네 장은 모델의 각 층을 함께 계산한다

Linux에서 Radeon AI PRO R9700 네 장으로 IQ3_S 계열을 실행하면 자동 선택이 새 분할 엔진을 고른다. 층별 분할이 카드마다 서로 다른 층을 맡긴다면, 이 엔진은 각 층의 계산을 모든 카드에 나눠 맡긴다. 두 장과 세 장 구성은 종전의 층별 분할을 유지한다.

개발팀 발표 기준, 같은 카드 네 장과 UD-Q4_K_XL에서 8명 동시 사용의 합산 답변 생성 속도는 0.2.10 패키지 대비 32.7% 높았다. 기존 두 측정값은 초당 276.3·263.3토큰, 새 엔진은 358.4·357.4토큰이었다. 한 명 사용에서는 6.9%, 약 103K 토큰 프롬프트, 모델에 보내는 입력 문장 두 개의 처리 시간에서는 8.1% 개선됐다.

이 비교는 기존 패키지와 그 패키지의 엔진 파일을 교체한 구성을 번갈아 실행한 두 쌍의 시험이며, 실행마다 한 번씩 시작했다. 새 엔진은 기본 동시 요청 처리 자리인 요청 슬롯을 6개에서 8개로 늘리고 카드 사이 합산 처리도 바꿨다.

3. NVIDIA는 양자화 상태로 입력을 계산한다

NVIDIA 연산 능력, GPU 명령 지원 수준 8.0 이상에서는 Unsloth UD-Q4/Q5/Q6_K_XL 파일에 K 양자화용 정수 연산 커널, GPU 계산을 수행하는 프로그램이 기본 적용된다. 이전처럼 모델이 학습한 계산용 숫자인 가중치를 16비트 수로 바꿔 계산하는 대신 압축된 가중치용 연산을 쓴다.

RTX PRO 6000 측정에서는 입력 처리 속도가 아래처럼 높아졌다. 다음 단어를 미리 추측해 검사를 돕는 MTP를 켜고, 모델의 특화 계산 부분인 전문가를 전부 카드에 올린 조건이다.

표: RTX PRO 6000의 프롬프트 처리 속도

조건: RTX PRO 6000(sm_120), UD-Q4_K_XL, 전문가 전체 카드 상주, MTP, 컨텍스트 131072, 셀마다 요청 4회의 중앙값, 2라운드 교차 실행, 라운드별 각 경로의 엔진 새로 시작

단위: 토큰/초

32K 입력의 향상 폭은 개발팀 발표 기준 32.6%다. 답변 생성 속도는 이 커널 변경으로 달라지지 않았다. 입력을 읽는 단계의 개선이므로, 사용자가 기대할 변화도 긴 질문을 보낸 뒤 답변이 시작되기까지의 처리 과정에 있다.

4. 적은 그래픽 메모리로 시작하는 대신 긴 입력은 느리다

작은 메모리 여유로 여러 NVIDIA 카드를 쓰는 층별 분할은 메모리가 모자라면 카드에 둔 가중치와 보조 모델 등을 단계적으로 줄여 시작한다. 이 과정에서 사용자가 정한 모델이 참고할 입력 길이 한도인 컨텍스트 크기는 줄이지 않는다.

개발팀은 실제 소형 카드 대신 RTX PRO 6000 두 장의 남은 메모리를 각각 8GB로 제한해 시험했다. Linux에서 Qwen3.8 IQ3_S, 128K 컨텍스트, 토큰 간 관계를 기록한 어텐션 상태의 8비트 저장과 자동 추측 모델 선택을 썼다. 이전 버전의 제품 실행은 여섯 번 모두 실패했지만, 새 방식은 시작했고 엔진 시험에서 32K 입력을 14.5초에 처리했다.

이익은 적은 그래픽 메모리에서도 실행을 시작할 수 있다는 점이고, 대가는 긴 입력의 처리 시간이다. 개발팀이 제시한 작은 카드 구성의 입력 속도는 초당 1000~2200토큰으로, 큰 카드 구성의 6000~7000토큰보다 낮았다. 작은 카드용 입력 처리 경로는 아직 카드 한 장만 활용한다.

5. 업데이트 뒤에는 입력 처리와 응답 변화를 함께 살핀다

앱에서는 내장 업데이트나 새 설치 파일을 이용한다. 터미널의 업데이트 명령은 제어 구성 요소와 엔진을 함께 갱신하고 이전 엔진도 되돌리기용으로 남긴다.

위 성능 수치는 주로 릴리스 소스 기반 빌드와 엔진 파일을 교체한 패키지에서 측정했으며, 정식 엔진 패키지에서 다시 잰 결과는 아니다. 커널과 입력 묶음 크기에 따른 반올림 차이로 일부 에이전트 질문의 첫 답이 달라질 수 있다는 점도 개발팀이 알렸다.

Strata 0.2.11의 핵심은 새 양자화 파일을 쉽게 실행하고 카드 구성을 더 넓게 활용하되, 입력 처리의 개선을 답변 생성 속도와 나눠 살피는 데 있다.