Kimi K3.1 Pro: 100만 토큰 문맥, 공개 가중치

1. 긴 자료를 한꺼번에 다루는 100만 토큰 문맥

Kimi K3.1 Pro는 Kimi K3를 바탕으로 기존 모델을 추가로 훈련하는 단계인 사후 학습을 확대한 새 시리즈의 첫 모델이다. 회사는 보상에 따라 성능을 높이는 강화학습으로 수백 개 작업 분야를 함께 추가 훈련했다고 밝혔다. 이를 위해 학습과 답변 계산을 뒷받침하는 기반도 개선했다고 설명했다.

모델 카드에 따르면 정확한 문맥 길이는 1,048,576토큰이며 텍스트와 이미지를 입력으로 받는다. 전체 모델이 학습한 수치인 파라미터는 2.8조 개지만 입력 토큰마다 1040억 개를 활성화하는 구조다. 큰 모델의 일부만 골라 계산하는 방식이다.

회사는 입력 전체의 관계를 계산하던 일부 계층을 필요한 관계를 골라 계산하는 방식으로 바꿔 긴 문맥을 더 효율적으로 처리한다고 설명했다.

공개 저장소에는 가중치가 96개 파일로 나뉘어 올라와 있다.

2. 코딩과 금융 문서 평가에서 제시한 성과

회사 발표 기준, 터미널에서 실제 작업을 해결하는 Terminal-Bench 4.0 점수는 65.7%다. 최대 추론 설정에서 Claude Code를 평가 실행 도구로 사용했으며, 출력 후보를 고르는 샘플링 설정은 아래 금융 문서 평가와 같다.

여러 단계의 실행과 도구 사용을 보는 내부 장기 코딩 평가에서는 61.2%로 이전 모델의 55.95%를 웃돌았다.

회사 발표 기준, 여러 방향의 이미지를 보고 3차원 형상을 복원하는 BenchCAD 점수는 도구 사용 시 92.7%였다. 이는 전체 17,900개 사례 중 무작위로 뽑은 1,000개를 최대 추론 설정과 Claude Code로 평가한 결과다.

금융 문서를 분석하는 OfficeQA Pro v2에서는 회사 발표 기준 아래 결과를 제시했다. 세 모델 모두 전체 PDF 자료를 페이지 이미지로 받아 처리하고 Claude Code로 평가했으며, 표는 이 공통 조건을 갖춘 공개 모델만 추렸다.

표: 금융 문서 분석 평가의 공개 모델 결과

조건: OfficeQA Pro v2, 전체 PDF를 이미지로 제공·기계 판독용 텍스트 없음, Claude Code, 최대 추론 설정. Kimi의 샘플링 설정은 temperature = 1.0, top-p = 0.95

단위: 평가 점수

같은 문서 입력 방식과 평가 도구로 평가했을 때 Kimi는 DeepSeek-V4.1-Flash-1017보다 24.0점, GLM-5.3보다 33.3점 높았다. 이 평가는 문서 간 대조와 여러 단계의 수치 추론을 다루므로, 긴 자료를 받는 능력뿐 아니라 근거를 찾아 답을 완성하는 활용성을 보여 준다.

회사 발표 기준, 수식 연결과 재무 논리를 보는 자체 금융 모델링 평가에서는 이전 모델보다 7.2점 개선됐다. 감사 가능한 근거를 갖춘 리서치인지를 보는 금융 리서치 평가에서는 11.6점 개선됐다.

회사 발표에 따르면 내부 사실성 평가의 주장 단위 환각률은 23.4%에서 8.3%로 낮아졌다. 이는 답변 속 개별 사실 주장 가운데 잘못된 주장의 비율이다. 환각률은 오류가 나기 쉬운 사례를 모은 스트레스 평가 결과로, 일상 사용의 전체 오류율은 아니다.

3. API로 쓰거나 자체 서버에 배포

블로그의 이용 안내에 따르면 웹과 모바일 앱에서 이용할 수 있다. 업무용 Kimi Work 데스크톱 앱은 3.1.0 이상이 필요하다.

Kimi Code에서는 /model 명령으로 모델을 선택한다.

Kimi API는 OpenAI와 Anthropic 호환 규격을 지원한다. API 고객은 데이터 보존을 하지 않는 선택지도 이용할 수 있다.

직접 배포할 때 회사가 권장하는 모델 답변을 계산하는 추론 엔진은 vLLM과 SGLang 등이다. 허깅페이스 페이지의 vLLM 설치·실행 예시는 다음과 같다.

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "moonshotai/Kimi-K3.1-Pro"

여러 차례 대화하거나 도구를 호출할 때는 API가 반환한 어시스턴트 메시지 전체를 다음 요청에 그대로 전달해야 한다. 모델 카드는 추론 내용과 도구 호출 기록까지 보존하도록 요구한다.

4. 운영 통제권과 함께 옮겨오는 부담

긴 문맥은 자료를 잘게 나눠 넣는 작업을 줄일 수 있고, 가중치 공개는 조직의 자체 운영과 수정·재배포를 가능하게 한다. 그 대신 2.8조 개 파라미터를 갖춘 모델의 저장과 추론에 필요한 인프라 부담은 직접 운영하는 조직으로 옮겨간다.

라이선스는 수정·상업적 이용을 허용한다. 다만 이용자나 계열사가 제삼자에게 입력·매개변수·학습 데이터를 실질적으로 제어할 수 있는 모델 서비스를 운영하고, 이들의 합산 매출이 연속 12개월간 2천만 달러를 넘으면 상업적 이용 전에 별도 계약이 필요하다. 특정 기능에만 모델을 내장한 최종 제품과 타사 호스팅 모델로 요청을 단순 중계하는 서비스는 이 모델 서비스 정의에서 제외된다.

상업용 제품·서비스의 월간 활성 이용자가 1억 명 또는 월 매출이 2천만 달러를 넘으면 화면에 모델 이름을 눈에 띄게 표시해야 한다는 표시 의무가 있다. 내부 사용과 공식 제품·인증 추론 파트너를 통한 이용에는 별도 계약과 이름 표시 조건이 적용되지 않는다.

Kimi K3.1 Pro의 핵심은 긴 자료를 다루는 능력과 운영 통제권을 함께 제공해, 개발팀의 선택을 서비스 이용에서 자체 배포까지 넓힌 데 있다.