메이투안이 이미지와 글을 한 모델에서 함께 처리하고, 여러 단계에 걸친 코딩 작업을 수행하도록 설계한 LongCat-2.5를 공개했다. 개발자는 온라인 체험이나 API로 모델을 써볼 수 있으며, 이번 공개의 핵심은 화면 이해부터 도구를 쓰는 긴 작업까지 하나의 모델로 다루려는 데 있다.
1. 이미지와 글을 같은 입력 구조로 처리
LongCat-2.5의 총 매개변수는 1조6000억 개이며, 토큰마다 약 480억 개를 활성화한다. 매개변수는 학습 과정에서 조정되는 수치다. LongCat-2.0을 바탕으로 시각 이해와 도구를 활용해 과업을 수행하는 에이전트 프로그래밍 능력을 강화했다고 회사는 밝혔다.
모델은 이미지를 여러 층의 코드인 시각 토큰으로 바꿔 글과 같은 입력 형식으로 처리한다. 이 설계는 화면과 이미지를 이해하는 데 더해 시각 요소를 다루는 코딩, 창작 디자인, 3차원 작업을 겨냥한다.
회사는 이미지를 여러 층의 토큰으로 압축하고 이를 미리 계산해 저장해, 학습할 때마다 시각 정보를 다시 계산하는 부담을 줄였다고 설명했다. 이미지와 글의 표현을 함께 학습하는 방식은 평균 활성 매개변수가 약 30억 개인 소규모 모델에서 먼저 검증했다.
2. 긴 코딩 작업을 학습에 반영
회사는 작업을 시작해 마칠 때까지의 실행 기록을 학습에 더 넣고, 결과에 따라 보상을 주는 시행착오 방식의 강화학습을 대규모로 적용했다. 이를 통해 복잡한 코드 저장소 개발과 프로젝트 구축을 처음부터 끝까지 수행하는 능력을 높였다고 밝혔다.
과제 데이터는 공개 저장소와 내부 실제 시나리오에서 만든다. 연관된 변경 요청과 이슈를 바탕으로 프로그램 실행에 필요한 조건과 도구인 실행 환경과 검증 시험을 구성하고, 학습 중 실제 실행 기록과 통과율로 과제를 다시 선별하고 시험을 보완한다.
완료하지 못한 작업 기록은 저장했다가 다음 학습 단계에서 이어 간다. 긴 작업 하나가 끝나기를 기다리는 부담을 줄이는 방식이다.
이와 별도로 실패한 실제 에이전트 작업도 재현하고 검증할 수 있는 새 학습 과제로 바꿔 능력의 빈틈을 보완했다.
여러 과제와 작업 환경을 섞어 훈련하며, 반복적인 사고와 반복적인 도구 호출에는 추가 벌점을 적용한다. 회사는 작업을 오래 이어 가는 능력과 함께 불필요한 반복을 줄이는 행동도 학습시켰다.
3. 코딩과 탐색 과제의 대표 평가 결과
회사 발표 기준 대표 평가 결과를 전작과 비교했다. Terminal Bench v2.1과 PaperBench는 코딩 에이전트 평가, BrowseComp와 AutomationBench v1.0.6은 일반 에이전트 평가다.
전작 대비 Terminal Bench v2.1은 17.6점, PaperBench는 36.9점 올랐다. BrowseComp와 AutomationBench v1.0.6도 각각 12.0점, 36.0점 상승했다. PaperBench는 45.2점에서 82.1점으로, AutomationBench v1.0.6은 15.8점에서 51.8점으로 올라 전작의 낮았던 점수를 크게 끌어올렸다. BrowseComp는 이미 79.9점이던 전작에서 91.9점으로 더 높아졌다. 과제별 평가 방식이 다르고 비교 모델 점수도 공개 자료와 회사 자체 실측이 섞여 있어, 이 숫자를 하나의 순위로 묶어 읽기는 어렵다.
4. 가속기 제약에 맞춘 학습·추론 기반
LongCat-2.5는 중국산 인공지능 가속기에서 장문맥 학습과 추론을 수행하도록 기반 시스템을 최적화했다. 단일 카드 메모리가 80GB 미만인 조건을 고려해, 고속 연결로 묶인 카드 그룹 안에서 주요 통신이 이뤄지도록 구성했다. 회사 발표 기준으로 긴 입력을 쓰는 정답 예시로 모델을 추가 학습하는 지도 미세 조정에서 카드 한 장의 처리량은 여러 카드가 데이터를 나눠 학습하는 분산 데이터 병렬 기준보다 86% 높았다.
추론에서는 모델 안에서 선택적으로 작동하는 계산 부분인 ‘전문가’의 가중치와, 입력에 따라 계산 중 만들어지는 값인 활성값을 모두 4비트로 낮춘다. 가중치는 모델이 학습한 연결 강도를 나타내는 수치다. 회사는 평가한 하위 과제들에서 숫자 표현의 정밀도를 낮추는 기법인 양자화 전 모델과 비슷한 성능을 유지했다고 밝혔다. 아래 수치는 회사 발표 기준 온라인 부하 시험에서 8비트 가중치·활성값 기준과 비교한 결과다.
표: 4비트 추론의 온라인 부하 시험 결과
조건: LongCat-2.5의 4비트 추론과 W8A8 INT8 기준 비교, 온라인 부하 시험
단위: %
| 항목 | 변화율 |
|---|---|
| 입력 처리량 | 43.3 |
| 생성 처리량 | 42.77 |
| 첫 토큰 지연 감소 | 15.91 |
| 토큰 간 지연 감소 | 19.72 |
처리량은 높아지고 지연은 낮아졌다. 개별 계산 연산 단위인 연산자 수준의 행렬 곱셈에서는 같은 기준 구현보다 평균 1.73배 빨랐다고 회사는 발표했다.
이미지 토큰을 미리 계산하고 4비트 연산을 활용하면 온라인 계산과 메모리 부담을 줄일 수 있다. 반면 이를 뒷받침하려면 양자화 변환과 전용 연산, 가속기 구조에 맞춘 병렬화가 필요하다. 모델의 규모만으로 성능을 얻기보다 학습과 추론 시스템까지 함께 갖추는 접근이다.
5. 체험과 API로 이용
온라인 체험은 https://longcat.chat 에서 제공하며, API 접속은 https://longcat.chat/platform/product 에서 안내한다. 원문은 인증을 마친 신규 가입자에게 1000만 토큰, 기존 사용자에게 500만 토큰을 추가 제공하는 기간 한정 혜택도 알렸다.
LongCat-2.5의 방향은 이미지 입력과 장기 작업을 한 모델로 묶고, 대규모 모델을 운용하는 기반 시스템까지 함께 최적화하는 데 있다.