개인용 PC에서 대형 AI 모델을 실행하려는 개발자를 위한 추론 프로젝트가 이름을 바꾸고 지원 모델을 늘렸다. 그래픽카드 한 장으로 5520억 매개변수 모델을 실행한 결과도 공개했지만, 대용량 메모리와 빠른 저장장치까지 갖춘 PC에서 나온 수치다.

1. 이름 변경과 엔진 통합

2026년 10월 17일 모델 카드 업데이트는 Strata-DSV4.1의 새 이름이 Xolotl이라고 알렸다. 기존 엔진은 유지되며 이전 링크는 새 저장소로 연결된다. 단순한 이름 변경을 넘어 여러 모델의 실행 코드를 한 저장소로 묶었다.

기존 DeepSeek-V4.1-Flash에 GLM-5.3-Flash 엔진이 더해졌다.

Qwen3.8-Flash-Next와 Qwen3.8-27B도 같은 서버 체계에서 지원한다.

OpenAI와 Anthropic 호환 API를 제공하므로 기존 클라이언트를 연결할 수 있다. 다만 모델별 설정과 실행 명령은 다르며, 서버 하나가 모델을 자동으로 바꿔 준다는 뜻은 아니다.

2. 초당 약 27토큰의 측정 조건

측정 PC는 RTX 4090 24 GB, Ryzen 7 5700X, DDR4 메모리 90 GB와 NVMe 저장장치 한 대를 갖췄다. 실제 서버로 코드 문제 21개, 도구 호출 10건, 에이전트 버그 수정 3건을 수행했다. 매번 가장 유력한 토큰을 고르고 추론 예산은 32K토큰으로 설정했다.

README와 모델 카드는 DeepSeek의 생성 속도를 초당 26.8토큰으로 제시한다. 그러나 벤치마크 문서의 완료 결과는 26.4토큰이다. 두 기록의 차이를 설명하는 근거는 제시되지 않았다. 코드 문제는 21개, 도구 호출은 10건, 버그 수정은 3건 모두 통과했다고 보고했다.

같은 과제군에서 GLM은 초당 25.3토큰을 생성하고 코드 문제 19개를 통과했다. 이때 일부 계산을 줄이는 설정과 라우팅 바이어스 0.25를 사용했다. Qwen의 두 모델은 각각 초당 127.8토큰과 98.5토큰을 기록했지만, 모델 크기와 압축 방식이 달라 엔진만의 우열로 볼 수는 없다.

긴 입력에서는 결과가 달라진다. 다른 앱의 그래픽 메모리 사용이 1 GB 미만인 별도 측정에서, 약 6K·16.5K토큰의 새 입력 뒤 256토큰을 생성할 때 DeepSeek의 속도는 각각 초당 23.5·21.2토큰이었다. 짧은 코드 문제의 약 27토큰을 긴 대화에 그대로 적용해서는 안 된다.

3. 메모리 절약의 대가

MoE는 토큰마다 일부 전문가 계산부만 사용하는 모델 구조다. 자주 쓰는 계산부를 그래픽 메모리에, 나머지는 RAM과 NVMe에 나눠 두는 방식은 필요한 책만 책상 위로 옮기는 것과 비슷하다. 전체 모델이 그래픽 메모리 24 GB에 들어간다는 뜻이 아니다.

라우팅 바이어스는 그래픽 메모리의 전문가에 가점을 주고 NVMe의 전문가에는 감점을 줘 디스크 읽기를 줄인다. 속도를 얻는 대신 계산에 참여하는 전문가가 바뀌므로 품질 손실이 생길 수 있다. 현재 기본값은 이전 강도의 0.5배이며, 모델 카드의 과거 비교표에 적힌 전체 강도 기본값과 구분해야 한다.

4. 준비와 실행

DeepSeek 엔진은 리눅스용이며, 16 GB 그래픽 메모리와 WSL2 실행은 검증되지 않았다. 시스템 RAM을 줄이면 디스크에서 읽는 양이 늘어 속도가 낮아진다.

배포 파일은 전문가별 압축 형식 때문에 일반적인 llama.cpp나 Ollama에서 읽을 수 없다.

모델 카드는 모델 163 GB와 Engram 메모리 테이블 203 GB를 합쳐 약 366 GB의 빠른 SSD 공간이 필요하다고 안내한다. 테이블 추출 중에는 약 203 GB가 추가로 필요하며, 모델 조각을 합칠 때도 별도 여유 공간을 확보하거나 합친 조각을 삭제하는 방식을 골라야 한다.

모델과 별도 배포되는 테이블을 준비하고 엔진을 빌드한 뒤, 설정 파일의 모델 경로를 수정한다. README의 서버 실행 예시는 다음과 같다.

python3 tools/v41/serve/serve_ds41.py --engine strata --config tools/v41/serve/strata-ds41.json --port 8150           # DeepSeek-V4.1-Flash

5. 실행 가능성과 품질 동등성은 다르다

동일한 프롬프트와 온도 0으로 수행한 7개 다중 단계 코딩 과제에서 공식 API는 5개, 기본 바이어스를 쓴 로컬 모델은 4개를 해결했다. 표본이 작고 로컬 모델에는 압축과 거부 성향 제거가 함께 적용돼 차이의 원인을 분리하지 못했다. API가 정확히 같은 체크포인트인지도 확인되지 않았다.

Xolotl의 성과는 대형 모델의 로컬 실행 선택지를 넓힌 데 있으며, 약 27토큰이라는 속도만으로 공식 서비스와 품질이 같다고 판단할 수는 없다.