IBM이 대화 응답, 선택지 판단, 음성을 글로 옮기는 기능을 한 모델로 제공한다. 음성이나 분류 기능을 대화 서비스에 붙이려는 개발자는 별도 서버를 나누는 대신 같은 접속점으로 요청을 보낼 수 있다.

1. 기본 모델에 필요한 기능을 묶었다

모델 카드에 적힌 공개일은 2026년 10월 14일이며, 소개 블로그는 다음 날 게시됐다. 기본 모델의 파라미터가 80억 개인 구성과 300억 개인 구성으로 나왔다. 가중치는 Apache-2.0 라이선스로 공개됐다.

두 구성에는 기능을 덧붙이는 작은 추가 가중치인 어댑터가 두 개 들어 있다. 일반 판단용은 상태와 선택지를 받아 선택지별 확률을 반환하고, 안전 판단용은 유해성이나 탈옥 시도 등을 탐지한다. 4억 7000만 파라미터의 음성 인식기도 포함된다.

어댑터는 기본 모델이 앞부분을 처리하며 저장한 계산 결과인 캐시를 재사용한다.

음성은 인식기가 먼저 글로 바꾼 뒤 대화 문맥에 넣으므로, 언어 모델이 소리를 직접 이해하는 방식과는 다르다.

2. 서버는 공유해도 응답 읽는 법은 다르다

vLLM에서는 프로젝트의 플러그인을 설치해 실행한다. 아래는 저장소를 내려받아 해당 디렉터리로 이동한 뒤 사용하는 8B 모델 카드의 서버 실행 예시다.

pip install -e ".[vllm]"

python -m vllm.entrypoints.openai.api_server \
  --model ibm-granite/granite-switch-4.1-8b \
  --port 8000

요청에서 adapter_name에 어댑터 이름을 넘기면 대화 템플릿이 전환용 제어 토큰을 넣는다. 일반 판단 호출은 시스템 지시문 없이 상태와 질문을 사용자 메시지 두 개로 나눠 보낸다. 상태 부분을 일반 대화와 같게 유지해 앞부분의 계산을 공유하려는 설계다.

판단 결과는 답변 문장 대신 선택지 라벨의 확률을 로그로 나타낸 값인 로그확률을 요청해 읽는다. 한 토큰으로 표현되는 라벨들을 지정하고, 반환값을 전체 선택지에 대한 확률로 정규화한다. 안전 판단 어댑터는 이와 달리 예·아니오 판정을 JSON에 담아 돌려준다.

3. 판단 점수는 평가 범위 안에서 읽어야 한다

모델 카드는 Decision Index의 공개 고속 평가 부분집합 1,068개 항목을 v0.3 채점 방식으로 평가했다.

평가는 호스팅된 vLLM에서 진행했다. 고정된 판단용 시스템 지시문, 상태, 한 토큰짜리 라벨이 붙은 선택지를 사용했으므로 앞서 설명한 일반 호출 예시와 지시문 조건이 다르다.

판단 어댑터의 전체 점수는 100점 척도에서 8B가 42.9, 30B가 50.1이었다. 영역별 점수를 100배로 표시한 도구 영역은 각각 59.8과 76.5였고, 검색 영역은 둘 다 49.8이었다. 큰 모델의 이점이 영역마다 같지는 않다는 뜻이다.

학습하지 않은 영역에서 일반 판단 확률은 확정 분류가 아니라 추가 판단의 출발점으로 삼을 값으로 다뤄야 한다.

같은 구성의 로컬 평가와 호스팅 평가 결과는 약 0.6점 이내에서 일치했다고 카드에 적혀 있다. 다만 측정 하드웨어와 양자화 조건은 제시되지 않았다. 이 점수만으로 배포 속도나 메모리 사용량까지 판단할 수는 없다.

4. 서버 통합의 이익은 호출 처리의 비용과 맞바꾼다

IBM은 합쳐진 모델의 GPU 메모리 사용량이 기본 모델만 쓸 때와 대략 같다고 설명한다. 서버를 기능별로 분리할 부담은 줄지만, 애플리케이션은 응답 종류에 따라 확률 계산과 안전 판정 해석을 구분해야 한다.

선택지가 많으면 요청 수도 늘어난다. vLLM은 라벨 로그확률 요청을 한 번에 128개 토큰으로 제한한다. 카드는 같은 질문을 유지한 채 라벨을 128개 이하로 나눠 요청하고 결과를 합쳐 확률을 계산하도록 안내한다. 상한 없는 호출과 수학적으로 같지만 여러 번의 요청이 필요하다.

5. 음성 오류와 안전 검증은 별도로 살핀다

음성 입력은 영어만 지원하며, 결과는 소문자이고 문장부호가 없다. 음성 인식기와 언어 모델은 공동 훈련되지 않았고 둘을 잇는 학습된 연결도 없다. 잘못 옮겨진 글은 뒤따르는 답변이나 판단 내용을 바꿀 수 있다.

내장 안전 어댑터는 애플리케이션 수준의 안전 시험을 대신하지 않는다. 공개 구성에는 사실성 탐지·교정이나 정책 가드레일 어댑터가 없다.

Granite Switch 4.1의 도입 가치는 서버 통합 자체보다, 통합 뒤에도 기능별 응답 처리와 검증을 감당할 수 있는지에 달려 있다.