허깅페이스의 모델 실행 라이브러리에 글·이미지·소리·영상을 함께 입력받는 메타 모델과, 외부 코드를 허용하지 않고도 불러올 수 있는 인클루전AI 모델이 추가됐다. 모델을 서비스에 붙이는 개발자는 입력 종류를 넓히거나 별도 모델 구현에 의존하던 로딩 절차를 줄일 수 있다.

1. 입력 확장과 로딩 통합은 다른 변화다

2026년 10월 15일 공개된 Transformers v5.20.0의 릴리스 노트는 두 모델 지원을 새 기능으로 소개한다. 이는 라이브러리에서 모델을 불러와 쓰는 경로가 추가됐다는 뜻이며, 두 모델의 속도가 함께 개선됐다는 발표는 아니다.

메타의 Muse Spark Open은 네 종류의 입력을 받아 텍스트를 생성한다. 여러 파일 수정, 디버깅, 도구 호출 같은 코딩 작업을 위해 학습됐다. 예를 들어 코드와 함께 화면 갈무리나 녹화 영상을 입력하는 작업에 쓸 수 있다.

인클루전AI의 Ling 3.0 Flash는 입력 조각마다 여러 계산망 중 일부를 골라 쓰는 혼합 전문가 언어 모델이다. 이번 변경의 핵심은 외부 저장소의 모델 코드를 실행하도록 신뢰 설정을 켜지 않아도 라이브러리에 포함된 구현으로 로딩된다는 점이다.

2. Ling은 로딩과 최적화를 나눠 확인한다

문서가 제시하는 모델 클래스는 BailingHybridForCausalLM이다. 사용 예시는 AutoModelForCausalLM으로 저장된 모델을 불러오고, 대화 형식으로 입력을 만든 뒤 답변을 생성하는 흐름이다.

모델 내부의 일부 계산에는 PyTorch만으로 동작하는 대체 구현이 포함돼 있다. 별도 최적화 패키지 없이도 해당 계산을 수행할 수 있도록 마련된 경로다.

flash-linear-attention과 causal-conv1d를 설치하면 엔비디아 그래픽 처리 장치용 쿠다 환경에서 최적화된 계산 코드가 자동으로 쓰인다. 이는 선택 가능한 최적화 경로이지 모델을 불러오기 위한 필수 절차는 아니다.

3. Muse는 입력 준비도 통합한다

MuseSparkProcessor는 글을 모델의 입력 조각인 토큰으로 나누는 처리와 이미지·영상·오디오 전처리, 대화 형식 변환을 한데 묶는다. 개발자는 서로 다른 입력을 대화 형태로 준비해 모델에 전달할 수 있다.

문맥 창은 모델이 한 번에 다룰 수 있는 입력 범위로, 최대 1,048,576토큰이다. 텍스트뿐 아니라 이미지·영상·오디오에서 만든 토큰도 이 범위를 함께 사용하므로, 이 수치를 텍스트만의 여유 공간으로 계산해서는 안 된다.

블로그에 따르면 영상은 기본적으로 초당 2프레임, 최대 96프레임을 추출한다. 프레임을 더 남기면 사건 사이의 정보를 덜 놓칠 수 있지만, 메모리 사용량과 답변 생성 전 입력을 처리하는 시간도 늘어난다.

4. 계산량 절감이 작은 메모리를 뜻하지는 않는다

Muse는 각 층의 전문가 256개 중 8개를 골라, 전체 8160억 파라미터 중 토큰당 420억 개를 활성화한다. 파라미터는 학습으로 정해지는 모델의 수치다.

이 구조의 이익은 일부 계산망만 실행한다는 데 있지만, 배포 메모리는 전체 모델 규모를 감당해야 한다. 블로그는 BF16 가중치 파일이 약 1.5TB라고 설명한다. 입력 처리 인터페이스가 합쳐져도 대형 모델을 올릴 장비 부담까지 사라지는 것은 아니다.

이전 입력의 계산 결과를 보관하는 캐시도 별도로 고려해야 한다. 블로그의 BF16 기준 계산은 토큰당 약 250KB이며, 최대 문맥을 채우면 약 266GB다. 이는 가중치 파일 크기와 별개의 비용이다.

5. 저정밀 가중치와 병렬 실행은 별도 점검한다

NVFP4는 가중치를 낮은 정밀도로 저장해 메모리 요구를 줄이는 형식이다. 다만 모델 개발 문서는 호환 장치와 별도 설치 브랜치를 요구한다. 문서의 설치 예시는 다음과 같다.

pip install git+https://github.com/huggingface/transformers.git@finegrained-per-scheme-demo

릴리스 노트는 전문가를 여러 장치에 나눠 실행하는 전문가 병렬 추론에서 속도 저하가 있다고 경고한다. 저하 폭과 측정 조건은 제시되지 않았다. 이 경로를 사용할 배포라면 실제 작업으로 지연 시간을 확인할 필요가 있다.

이번 지원의 가치는 입력 처리와 모델 로딩의 통합에 있으며, 도입 판단은 지원 여부와 실제 배포 자원을 나눠 내려야 한다.