Strata 0.2.9가 로컬에서 인공지능 모델을 실행하는 개발자에게 DeepSeek용 1비트 가중치 두 종을 새 선택지로 제공한다. 일부 리눅스 그래픽카드에서는 여러 요청과 모델에 넣는 입력 문장인 긴 프롬프트를 빠르게 처리하는 설정을 기본 적용해, 별도 조정을 줄이면서 처리량을 높일 수 있게 했다.
1. 1비트 가중치는 기본 모델을 바꾸지 않는 선택지다
설치 과정과 실행 명령에서 Unsloth의 UD-IQ1_S와 UD-IQ1_M을 선택할 수 있다. 가중치는 모델이 사용하는 수치 데이터이며, 내려받기 용량은 각각 241GB와 258GB다. ISTA의 Engram 파일을 이미 갖고 있다면 약 111GB를 덜 받으며, 기존 기본 모델은 유지된다.
개발진 발표 기준, 61개 작업 시험에서 두 1비트 세트는 각각 53개, 기존 비교 대상은 56개를 통과했다. 비교 대상은 ISTA-DAS 2.25이며, 작업 중 35개는 1만4000~3만 토큰 문서를 사용했다. 세트마다 한 번씩 측정했고, 토큰마다 계산에 참여하는 전문가 모듈, 특정 입력을 맡는 모델 구성요소 수는 6개였다.
작업별로 보면 작은 세트는 요약에서 8개 중 8개를 통과해 기존 세트의 7개보다 많았지만, 정보 추출은 13개 중 11개로 기존 세트의 13개보다 적었다. 따라서 전체 통과 수와 실제로 맡길 작업을 함께 보는 편이 선택에 도움이 된다.
2. 모델 속도는 카드 구성과 함께 읽어야 한다
개발진은 작은 세트와 기존 비교 세트를 Radeon AI PRO R9700 네 장에서 시험했다. 큰 세트는 RTX A6000 두 장에서 시험했다. 같은 1비트 선택지라도 측정에 사용한 장비는 달랐다.
개발진 발표 기준, UD-IQ1_S는 R9700 네 장에서 초당 48~88토큰을 생성했고 4K 프롬프트를 초당 1,204~1,296토큰 처리했다. UD-IQ1_M은 A6000 두 장에서 초당 41~82토큰을 생성했다. 이 수치는 개발진 자체 시험 문서로 한 번씩 실행한 결과다.
이익과 비용은 선택지마다 다르게 나타난다. 기존 파일을 재사용하면 다운로드 부담을 줄일 수 있지만 작업 통과 수는 기존 비교 세트보다 적었고, 병렬 처리도 인텔 Arc Pro B65 두 장에서는 동시 요청 8개의 처리량을 초당 42.1토큰에서 53.8토큰으로 높이는 대신 요청을 묶어 처리하는 배치 서버의 단일 요청 생성을 2.7% 늦췄다.
3. 리눅스 병렬 요청은 사용자가 켠 뒤 자동 조정한다
리눅스 엔비디아 환경에서는 동시 요청 수를 2 이상으로 지정하면 서버가 병렬 처리 관련 설정 9개를 자동으로 적용한다. 사용자가 직접 지정한 환경 변수나 설정값은 우선하므로, 기존 조정값을 유지하면서 새 기본 동작을 사용할 수 있다.
개발진 발표 기준, RTX PRO 5000 한 장에서 Qwen3.8 IQ3_S에 1,000토큰 프롬프트와 128토큰 출력을 요청하고 8개 요청을 동시에 처리했을 때 이전 버전보다 1.45배 빨랐다. 이전 버전은 0.2.8이며, 세 차례 조건을 맞춘 비교인 짝 비교의 속도 비율은 1.451~1.459였다.
같은 시험에서 단일 요청도 5.3% 빨라졌으며, 가장 가능성이 높은 출력을 고르는 방식으로 확인한 12개 프롬프트의 답변은 이전과 같았다. 여러 요청을 받는 서버뿐 아니라 한 번에 하나씩 요청하는 사용자의 결과도 함께 제시한 셈이다.
4. 프롬프트 처리도 지원 카드에서 기본으로 빨라졌다
리눅스 엔비디아의 Qwen3.8은 프롬프트 계산을 그래픽카드의 여러 수치를 한꺼번에 계산하는 행렬 연산 장치로 처리한다. 개발진 발표 기준, RTX PRO 5000에서는 4K 프롬프트가 4.4%, 긴 프롬프트가 5.5~5.7% 빨라졌다. RTX A4000에서는 16K가 2.6%, 32K가 3.2% 빨라졌다.
리눅스에서 라데온 카드가 모두 gfx12 계열인 구성은 프롬프트를 나눠 처리하는 커널, 그래픽카드 연산을 수행하는 프로그램을 64토큰부터 사용한다. 개발진이 발표한 길이별 개선 폭은 다음과 같으며, 생성 속도는 그대로였다.
표: 리눅스 gfx12 라데온의 프롬프트 처리 개선율
조건: 리눅스, 라데온 카드 모두 gfx12 계열, 분할 처리 커널 64토큰부터 적용
단위: %
| 프롬프트 길이 | 속도 개선율 |
|---|---|
| 4K | 3.5 |
| 16K | 4.7 |
| 32K | 6.1 |
같은 발표에서 1K~3K 프롬프트의 개선 폭은 1.7~3.2%였다. 이 변경의 효과는 답변 생성 자체보다 입력 문서를 읽는 단계에 집중돼 있다.
5. 여러 AMD 카드 활용은 다음 실행부터 달라진다
리눅스에서 여러 AMD 카드로 DeepSeek를 실행할 때는 별도 카드 지정이 없으면 엔진이 지원하는 카드를 활용한다. 설치 과정이 한 장을 골라 저장했던 구성도 다음 실행부터 여러 카드를 사용하며, 다시 빌드할 필요는 없다. 한 장만 쓰려면 원문의 다음 명령으로 지정할 수 있고, 선택은 저장된다.
strata launch --gpu N개발진의 R9700 네 장 시험에서는 그래픽카드에 올린 전문가 모듈이 15,360개 중 2,371개에서 12,147개로 늘었다. 토큰당 참여 모듈 수도 6개에서 실행기가 선택한 5개로 바뀌어, 여러 카드의 메모리를 함께 쓰는 변화가 실행 구성에도 반영됐다.
DeepSeek는 온도 0에서도 반복 답변이 달라질 수 있고, 이를 줄이기 위해 모듈을 재사용하려 임시 저장하는 전문가 캐시를 끈 시험에서는 생성 속도가 R9700 네 장에서 8~10%, 한 장에서 58% 낮아졌다.
Strata 0.2.9의 핵심은 모델과 처리 방식의 선택 폭을 넓힌 데 있으며, 도입 판단은 작업별 품질과 실제 카드·동시 요청 조건에 맞추는 것이 좋다.