MiniMax M3.1 Flash: 에이전트 평가 성적, 작업 비용 70% 절감 주장

1. 업무 자동화와 코딩 성적

M3.1 Flash는 BankerToolBench에서 76.2점을 기록했다. 회사는 다단계 계획, 문서·파일 간 일관성 유지, 금융 규정 준수, 연속적인 도구 호출에서 강점을 보였다고 설명했다. 같은 회사 비교표에서 Opus 5도 76.2점이다.

DeepSWE v1.1에서는 73.7%를 기록했다. 이 평가는 모델이 코드를 이해하고 기능을 개발하며 오류를 수정한 뒤 테스트로 작업을 검증하는 복잡한 소프트웨어 과제를 다룬다. 회사 표의 Opus 5는 74.0%, GPT-5.6 Sol은 73.0%다.

이 수치들은 MiniMax가 제공한 비교표의 결과다. 표에 평가 도구와 조건이 적혀 있다는 사실이 비교 대상 전부를 동일 조건에서 독립적으로 재현했다는 뜻은 아니다.

2. 실행 도구와 컨텍스트 조건

BankerToolBench에는 OpenCode 1.17.18과 심사 모델 MiniMax-M2.7가 사용됐다. OpenCode는 평가를 실행하는 도구이고, MiniMax-M2.7는 결과를 채점하는 심사 모델이다. 이 역할 구분이 해당 점수의 측정 조건에 포함된다.

DeepSWE v1.1은 mini-SWE-agent 2.4.5로 평가했으며 최대 컨텍스트는 512K 토큰이었다. 컨텍스트는 모델이 처리할 때 참고할 수 있는 입력과 작업 기록 등의 범위다. 토큰은 텍스트 등을 나누어 처리하는 단위이며, 컨텍스트 크기는 처리 속도를 뜻하지 않는다.

API 문서는 M3.1 Flash의 컨텍스트 윈도우를 1M 토큰으로 소개한다. 제품이 지원하는 최대 범위와 DeepSWE 평가에 적용된 512K 한도는 구분해야 한다. 문서는 추론 깊이를 조절할 수 있는 멀티모달 코딩 모델이라는 설명도 제공한다.

3. 컴퓨터 사용 평가의 서로 다른 기준

컴퓨터 조작과 여러 앱에 걸친 작업 수행을 평가하는 OSWorld 2.0에서는 61.7점을 보고했다. 표의 주석에 따르면 공식 권장 0808 Full 버전을 사용했다. 각 모델의 점수는 출시 시점 최고 보고값이며, DS-V4.1만 회사 내부 재현값이라는 예외가 있다.

실제 전문 업무와 복잡한 과제를 평가하는 Agents’ Last Exam(ALE)에서는 29.6점을 기록했다. ALE 표에는 공식 Overall 설정에 따른 공식 순위표의 전체 평가세트 결과만 포함했다. 일부 과제나 다른 평가 방식의 점수를 직접 비교하지 않기 위한 조건이다.

ALE의 빈칸은 공식 평가를 거치지 않았거나 CLI 평가 결과만 보고한 경우를 포함하며, 0점을 뜻하지 않는다. OSWorld의 최고 보고값 선택 기준을 ALE에도 적용해서는 안 된다. 회사는 두 평가에서 모두 중국 모델 중 1위라고 밝혔다.

4. 토큰 요금과 전체 작업 비용의 차이

회사가 안내한 요금은 100만 토큰당 입력 0.15달러, 출력 0.60달러, 캐시된 입력 0.015달러다. 캐시 입력은 저장해 둔 입력을 재사용하는 경우의 요금 항목이다. 이는 토큰 사용량에 적용하는 단가이지 작업 한 건의 고정 가격이 아니다.

70% 절감은 회사가 발표한 전작 대비 에이전트 작업 전체 사용 비용의 차이다. 독립 검증된 절감률이나 모든 토큰 단가의 일률적인 인하율이 아니다. 따라서 실제 비용을 가늠하려면 단가뿐 아니라 한 작업에서 발생하는 입력·출력·캐시 사용량도 함께 봐야 한다.

출시 발표에 따르면 M3.1 Flash는 MiniMax API, M Plan, MiniMax Code에서 이용할 수 있고 모델 가중치는 추후 공개될 예정이다. 현재 제시된 평가 성적과 요금은 도입 검토의 근거지만, 특정 업무에서 같은 비용 절감이 재현된다는 보장은 아니다.

M3.1 Flash의 도입 가치는 공개된 평가 조건을 기준으로 성능을 해석하고, 실제 업무의 완료 품질과 전체 비용을 함께 비교할 때 판단할 수 있다.