Ling-3.1-flash-1019: 100만 토큰 입력, 에이전트 성능 개선

1. 에이전트·과학 평가에서 개선된 점수

모델 정보와 사용법을 담은 모델 카드에 따르면 새 버전은 학습된 모델을 추가로 조정하는 후학습 최적화를 거쳤다. 회사 발표 기준 에이전트 관련 평가인 AA-Briefcase는 약 1400에서 1524 Elo로 올랐다. Elo는 상대적 평가 점수를 나타내는 척도다.

표: 이전 버전과 Ling-3.1-flash-1019의 대표 평가 결과

조건: 모델 카드의 회사 발표 기준, 각 평가의 전후 값은 별도로 비교

단위: 개별 평가는 %, 변화 폭은 %포인트 / 종합 지수는 점

비율로 표시된 세 평가에서는 과학 평가인 CritPt의 개선 폭이 8%포인트로 가장 컸고, 자동화 작업 평가인 AutomationBench-AA가 6%포인트, SciCode가 3%포인트로 뒤를 이었다. 과학 문제 해결 안에서도 평가별 개선 폭은 달랐다. 종합 성능을 보는 Artificial Analysis Intelligence Index v4.3.2의 3점 상승은 개별 평가의 비율 변화와 구분해서 봐야 한다.

모델 페이지에서 평가 정보를 설명하는 부가 정보인 평가 메타데이터에는 Terminal-Bench 4.0 점수 32.8과 Terminal-Bench-Science 점수 4.3도 실려 있다.

출처는 아티피셜 애널리시스 리더보드이며, 두 결과는 mini-swe-agent 실행 도구로 과제당 첫 시도의 성공을 평가해 세 차례 평균 낸 값이다.

2. 100만 토큰 입력을 내세운 하이브리드 구조

모델 카드는 전체 파라미터 5600억 개, 토큰당 활성 파라미터 250억 개와 긴 자료를 한 번에 처리하는 100만 토큰 입력 창을 제시한다. 여러 전문가 가운데 입력마다 일부만 골라 계산하는 MoE 구조를 쓰며, 입력의 중요한 부분에 집중하는 어텐션에는 선형 방식인 KDA와 게이트 방식인 Gated MLA를 결합했다. 두 방식의 층은 각각 63개와 9개로, 7:1 비율로 배치돼 있다.

긴 문서 여러 개를 한 입력에서 함께 다루려는 개발자에게 큰 입력 창은 문서를 나누는 부담을 줄일 수 있다. 평가 점수 개선과 함께 보면, 많은 자료를 읽은 뒤 여러 단계로 일을 처리하는 용도를 겨냥한 모델이다.

3. 추론 환경과 요청 예시

카드는 모델 답변을 계산하는 추론 실행 환경으로 SGLang을 권장한다. 공개 당일 제공되는 이미지에는 여러 후속 토큰을 미리 예측해 응답 생성을 가속하는 기법과 호퍼 GPU용 최적화가 포함된다고 설명한다.

안내된 서버 구성은 H200 8장 또는 GB300 4장이다. 모델 계산과 전문가 계산을 여러 GPU에 나눠 처리하는 병렬화 설정은 각각 GPU 수에 맞춘다. 선택적 호퍼 최적화는 회사 발표 기준 한 번에 요청 하나를 처리하는 배치 크기 1 조건의 출력 토큰 생성 속도를 약 10% 높인다.

카드의 요청 예시는 다음과 같다. 모델 이름과 다음 토큰 선택 방식을 정하는 샘플링 설정값은 원문 예시를 그대로 옮겼다.

curl -s http://localhost:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "Ling-3.1-flash",
       "messages": [{"role": "user", "content": "What is the capital of France?"}],
       "chat_template_kwargs": {"enable_thinking": true},
       "stream": true,
       "temperature": 1.0,
       "top_k": 20,
       "top_p": 0.95}'

4. 성능 이득과 운영 비용

긴 입력과 평가 점수 개선의 이득은 많은 자료를 넣는 다단계 작업에 있다. 반면 일부 파라미터만 계산해도 학습된 모델의 계산 기준이 되는 수치인 전체 가중치를 담을 자원은 필요하다. 저장소 사용 용량은 약 574GB이고 가중치가 54개 파일로 나뉘어 있어, 자체 운영팀은 처리 성능뿐 아니라 메모리와 여러 GPU를 갖춘 배포 비용을 따져야 한다.

가중치 라이선스는 MIT로 표시돼 있다.

배포 확인: 카드의 100만 토큰 설명과 저장소의 최대 위치 설정값 262144가 다르고 실행 예시도 이전 모델의 경로와 이름을 쓰므로, 배포 전 입력 길이 지원과 모델 지정을 확인할 필요가 있다.

평가 표시: 앞서 소개한 두 터미널 평가 결과는 페이지 메타데이터에 검증되지 않은 상태로 표시돼 있다.

Ling-3.1-flash-1019의 선택 기준은 긴 자료를 활용하는 작업의 개선 이득이 여러 GPU를 운영하는 비용에 걸맞은지다.