MiniCPM-V 4.7 35B-A3B: 시리즈 첫 MoE, 기기 내 전문가 미리 읽기

1. 일부만 계산해도 전체 가중치는 필요하다

2026년 10월 12일 공개된 MiniCPM-V 4.7의 35B-A3B는 시리즈 최초의 MoE 모델이다. MoE는 여러 계산 묶음인 전문가 중 일부를 골라 쓰는 구조다. 한 번에 계산하는 양이 작아도 입력과 층에 따라 다른 전문가를 쓰므로, 필요한 저장 공간까지 그만큼 작아지는 것은 아니다.

모델 카드는 기기 메모리에 전문가 가중치를 전부 담지 못하면 저장장치에서 필요할 때 읽는다고 설명한다. 책상에 책을 모두 펼칠 수 없어 책장에서 번갈아 꺼내는 셈이다. 이 읽기 대기가 반복되면 생성 속도가 떨어진다.

2. 계산 대상을 줄이지 않고 읽기 순서를 바꾼다

Lookahead Expert Scheduling은 다음 층에서 쓸 가능성이 큰 전문가를 미리 읽고, 실제 선택된 전문가 중 준비된 것부터 계산하면서 나머지를 불러온다. 예측이 빗나가도 필요한 전문가는 읽어 계산하므로, 예측은 읽기와 실행 순서만 바꾸고 모델의 원래 선택은 유지한다.

여기에 가중치를 더 적은 비트로 표현하는 층별 양자화로 저장 공간과 데이터 이동량을 줄인다. 출력을 미리 추측해 생성을 가속하는 DSpark도 결합한다. 따라서 공개된 속도를 미리 읽기 기술 하나만의 효과로 해석해서는 안 된다.

이익은 사용할 전문가를 고정해 능력을 제한하는 대신 읽기 대기를 줄인다는 점이다. 다만 가중치 읽기가 없어지는 것은 아니며, 실행 경로는 예측과 읽기·계산의 겹침을 관리해야 한다. 비용을 모델의 선택 제한에서 실행 일정 관리로 옮기는 접근으로 볼 수 있다.

3. 속도 수치는 공개 조건 안에서 읽어야 한다

모델 카드는 아이폰 17 프로 맥스에서 메모리 3GB를 사용해 초당 13토큰 이상을 생성했다고 보고한다. 토큰은 모델이 글을 생성하는 단위다. 저장소는 별도로 실제 기기의 추론 최적화 전후 비교에서 5배 속도 향상을 보고하지만, 이 배율을 앞의 속도에 곱할 근거는 없다.

개발팀은 지시 응답 모드에서 Qwen3.6 35B-A3B보다 종합 점수가 높고 추론 시간이 짧다고 설명한다. 다만 저장된 원문 텍스트에는 입력 길이·해상도·기기 설정이나 배율 비교의 구체적인 기종이 제시되지 않았다. 이 결과를 다른 휴대전화의 보장 속도나 범용적인 우위로 확대하기는 어렵다.

4. 시각 정보의 양은 별도로 조절한다

시각 인코더, 즉 이미지를 계산용 표현으로 바꾸는 부분은 초기에 시각 토큰을 압축해 뒤쪽 계산량을 줄인다. 16배 압축은 토큰을 합쳐 효율을 높이고, 4배 압축은 그보다 네 배 많은 토큰을 남겨 세부 정보를 살린다. 세밀한 이미지 이해를 택하면 처리할 정보도 늘어나는 절충이다.

압축 설정은 채팅 템플릿을 만드는 단계와 출력을 생성하는 단계 양쪽에 같은 값으로 전달해야 한다. 앞 단계는 이미지가 들어갈 자리의 개수를, 뒤 단계는 시각 인코더의 처리를 결정하기 때문이다. 압축률만 정하고 한쪽 전달을 빠뜨리지 않도록 확인해야 한다.

5. 일반 추론과 기기 배포 경로를 구분한다

일반 추론은 Transformers에서 모델과 전처리기를 불러온 뒤 이미지나 영상과 질문을 채팅 입력으로 묶는 방식이다. 아래는 모델 카드의 설치 명령 그대로다.

pip install "transformers[torch]>=5.18.0" torchvision torchcodec

영상 디코더는 일부 CUDA 버전과 충돌할 수 있다. 원문은 대체 디코더 설치나 실행 환경에 맞춘 버전 고정을 우회책으로 안내하므로, 영상 입력을 쓸 때는 해당 호환성을 확인할 필요가 있다.

이 설치 예시는 일반 추론을 시작하는 경로이지 휴대전화 최적화 전체를 적용하는 절차는 아니다. 기기 배포용 앱과 소스는 원문에 연결된 별도 저장소에서 안내하며, 지원 운영체제는 아이오에스·안드로이드·하모니오에스다.

핵심은 작은 계산량만 내세우는 것이 아니라, 원래의 전문가 선택을 유지한 채 기기에서 가중치를 기다리는 시간을 줄이도록 배포 경로를 설계했다는 점이다.