로컬 언어 모델 실행 도구인 Strata가 지원 모델에 그림 입력과 최대 8개 요청의 동시 처리를 추가했다. 여러 사용자나 에이전트를 연결하는 개발자에게 선택지가 늘었으며, 답변 생성 속도도 개선했지만 그래픽 메모리 여유에 따라 이득은 달라진다.
1. 그림 입력을 선택하는 설치 과정
2026년 10월 17일 공개된 이번 버전은 Qwen3.6-35B-A3B에 그림 입력을 추가했다. 설치 과정에서 이미지 사용을 선택하면 그림을 모델에 연결하는 0.9 GB 파일을 내려받고 설정에 반영한다.
개발팀은 같은 그림과 입력 토큰을 사용해 llama.cpp와 비교했다. 비교 대상의 답변을 고정해 다음 토큰을 검사했을 때 첫 토큰은 6건 중 5건이 같았다. 그림 두 장을 넣은 나머지 한 건은 후보 점수가 거의 같은 지점에서 갈렸으며, 시험 그림에 대한 답변 문장은 같았다고 밝혔다.
24 GB 미만 NVIDIA 카드에서 이미지를 켜면 이제 CPU 인코더가 선택된다. 그림을 모델 입력으로 바꾸는 데 한 장당 4~6초가 걸리고 최대 300토큰으로 읽지만, 이 과정이 그래픽 메모리를 차지하지 않는다. 기존 설정은 바뀌지 않는다.
2. 최대 8개 대화를 함께 처리
설치 시 --parallel N으로 동시 요청 수를 정하며, 설정 파일에서는 "parallel": N에 해당한다. 슬롯은 동시에 진행할 대화의 자리라고 이해하면 된다. 설치 프로그램은 메모리와 선택한 문맥 길이에 맞는 개수를 안내하며, Enter를 누르면 한 번에 하나씩 처리하는 상태를 유지한다.
각 대화의 토큰 하나씩을 묶어 처리하므로 공통 모델 가중치와 대화들이 공유하는 전문가 가중치를 한 번만 읽는다. 여기서 전문가는 모델 안에서 선택적으로 쓰이는 계산 부분이다. 개발팀은 2·4·8개 슬롯, 슬롯 재사용과 긴 입력의 병행 처리를 시험해 각 대화가 단독 실행 때와 같은 토큰을 생성했다고 보고했다.
개발팀 측정값이다. R9700 32 GB에 전문가 가중치를 모두 올리고 요청마다 새 토큰 128개를 생성했으며, llama.cpp의 llama-server -np N -fa on과 번갈아 다섯 쌍씩 비교했다. 배율은 1.14~1.61배이며, 요청 수마다 다섯 쌍 모두 Strata가 빨랐다.
| 동시 요청 수 | Strata | llama.cpp (llama-server) |
|---|---|---|
| 1 | 83.9 | 73.8 |
| 2 | 173.5 | 107 |
| 4 | 252 | 165 |
| 8 | 325 | 208 |
3. 동시성의 대가는 메모리에서 나온다
전문가 가중치가 그래픽 메모리에 모두 들어가면 설치 프로그램은 최대 3~4개 슬롯을 제안한다. 그렇지 않으면 대화용 공간이 전문가 캐시, 즉 가중치를 가까이 보관하는 공간을 줄인다. 여러 요청을 함께 진행하는 이익과 한 요청의 속도 저하를 함께 따져야 한다.
RTX 3060 12 GB에서 문맥 8K, 요청 4개로 시험한 동시 처리 성능은 초안 계층으로 토큰을 미리 예측하며 요청을 하나씩 처리하는 방식의 1.15배였다. 같은 슬롯 설정에서 요청 하나만 실행하면 속도는 4% 낮아졌다. 따라서 동시 요청 수를 높이는 일은 단일 대화를 빠르게 만드는 설정과 다르다.
4. 답변 생성과 입력 읽기의 가속
디코딩은 답변 토큰을 차례로 생성하는 과정이다. 새 계산 커널은 실제 내부 값으로 비교한 18,360건에서 기존 커널과 비트 단위 불일치가 없었다. 입력을 한 번에 읽는 묶음도 메모리에 맞춰 기본 4096·2048·1024토큰으로 커졌다.
R9700 32 GB와 UD-Q4_K_XL 모델 형식에서 답변 생성은 초당 83.2토큰에서 117.8토큰으로 1.42배가 됐으며, 번갈아 측정한 다섯 쌍 모두 개선됐다. 같은 조건의 4K 입력 읽기는 초당 3,453토큰에서 6,220토큰으로 1.80배가 됐다.
반면 CPU가 병목인 혼합 실행 모드의 RTX 3060 12 GB에서는 답변 생성이 2%, 입력 읽기가 3% 개선되는 데 그쳤다. 앞선 카드의 배율을 다른 장비의 기대치로 삼기는 어렵다.
입력 묶음보다 짧은 프롬프트는 그대로지만, 긴 프롬프트는 묶음 크기 변경으로 출력이 조금 달라질 수 있다. 다음은 원문에 제시된 기존 512토큰 크기로 되돌리는 옵션이다.
--prefill 5125. 적용 전에 구분할 범위
여러 GPU를 사용하는 서버에는 8개를 넘는 슬롯과 복사·중간 상태 저장 최적화도 마련됐다. 이 서버용 기능들은 직접 켜야 하며 기본값은 바뀌지 않는다. 일반적인 최대 8개 동시 요청 지원과 별도의 선택 사항이다.
이 모델에 대한 검증은 Windows 실기, Intel Arc, RTX 5070에서는 수행되지 않았다. Windows AMD의 모델 인식 문제는 수정됐지만 해당 환경의 검증까지 끝났다는 뜻은 아니다.
업데이트는 Windows에서 UPDATE.bat, 리눅스에서 ./update.sh로 실행하며 설치 과정이 엔진을 교체한다.
이번 릴리스의 가치는 최대 동시 요청 수 자체보다, 장비의 메모리와 실제 대화 수에 맞춰 그림 입력과 처리량 개선을 선택할 수 있다는 데 있다.