로컬에서 언어 모델을 실행하는 개발자가 쓰는 llama.cpp 새 버전이 토큰 선별 계산의 내부 경로를 정리했다. 이미 사용하던 융합 연산, 여러 계산을 하나로 묶는 연산을 그대로 호출하도록 단순화하고, 사용 여부를 자동 판정하거나 계산을 여러 연산으로 나눠 처리하던 대체 분기를 제거했다.

1. 새 계산 방식 도입보다 기존 경로 정리에 초점

2026년 11월 21일 공개된 b12606은 변경 요청 #32650을 반영한 프리릴리스, 정식 공개 전 시험 배포판이다. 릴리스 노트는 토큰 선별에 융합 연산을 이제 항상 사용하므로 관련 내부 설정과 자동 탐색, 비융합 대체 경로, 기본 방식 대신 쓰는 계산 절차를 제거한다고 설명했다.

변경 전 코드에서도 융합 연산 사용은 켜져 있고 자동 판정은 꺼져 있었다. 이번 릴리스는 새 방식을 처음 활성화하기보다, 이미 쓰고 있던 실행 경로에 맞춰 남아 있던 분기와 판정 코드를 걷어내는 성격이 강하다.

따라서 이 변경을 적용하려고 이용자가 융합 연산을 켜는 별도 설정을 추가할 필요는 없다. 직접 소스를 수정하는 개발자라면 없어진 내부 설정과 분기를 중심으로 변경 내용을 살펴보는 편이 유용하다.

2. 여러 모델에 흩어진 대체 계산을 제거

lightning indexer는 모델이 참조할 토큰 후보의 점수를 계산하는 부분이다. 여러 계산을 개별 연산으로 이어 붙이던 대체 방식 대신, 이를 묶어 처리하는 융합 연산 호출을 남겼다.

DeepSeek 3.2와 DeepSeek 4 등 여러 모델 구현에서 비융합 분기가 사라졌다. 공통 코드에서는 장치가 이 연산을 지원하는지 자동으로 탐색하던 절차도 제거했다.

융합 연산의 사용을 기록하던 내부 항목도 함께 정리했다. qwen4exp.cpp에서는 이미 쓰던 융합 연산 호출을 유지하고 사용 기록만 삭제했다. 수정 파일에는 계산 분기를 없앤 코드와 기존 호출 주변의 관리 정보를 정리한 코드가 함께 포함된다.

수정 대상은 모두 src/ 아래의 내부 소스 파일 14개이며 전체 변경량은 23줄 추가, 269줄 삭제다. 공통 판정 코드뿐 아니라 모델별 대체 계산도 정리해 삭제량이 추가량보다 큰 변경이다.

변경 요청은 기본 브랜치에 병합됐으며, 작성자는 llama 대상을 로컬에서 빌드했다고 밝혔다. 이는 이번 코드 정리를 적용한 뒤 수행한 확인 작업으로 제시됐다.

3. 계산 후보를 가리는 마스크 형식도 통일

계산에서 제외할 후보를 표시하는 마스크는 융합 연산의 요구에 맞춰 16비트 실수 형식인 F16으로 만든다. 아래는 병합된 코드에서 발췌한 생성 함수의 시작 부분으로, 마지막 인자가 이 형식을 지정하는 역할을 한다.

이전에는 다른 어텐션 설정, 입력 간 관계를 계산하는 방식의 설정을 복사해 임시로 바꾸는 우회가 필요했지만, 이제 함수에 필요한 형식을 직접 전달한다. 실행 경로뿐 아니라 그 경로에 넘기는 입력을 만드는 방식도 함께 정리한 것이다.

static ggml_tensor * build_attn_inp_kq_mask(
        ggml_context * ctx,
        const llama_kv_cache_context * mctx,
        const llama_ubatch & ubatch,
        const llama_cparams & cparams,
        bool force_f16 = false) {
    const auto n_kv     = mctx->get_n_kv();
    const auto n_tokens = ubatch.n_tokens;
    const auto n_stream = cparams.kv_unified ? 1 : ubatch.n_seqs_unq;

4. 유지할 코드는 줄고 내부 선택지는 좁아져

개발자는 같은 선별 계산을 두 방식으로 유지하던 부담을 덜게 된다. 그 대가로 이번에 분기를 제거한 모델에서는 내부 설정을 바꿔 비융합 계산으로 돌아가는 선택지도 사라진다. 이익과 비용이 모두 실행 경로의 단순화에서 나오는 변화다.

DeepSeek 4.1에는 일부 토큰만 골라 보는 희소 어텐션, 일부 토큰만 골라 관계를 계산하는 방식의 경로를 끄면 비융합 계산에 도달하는 예외가 남는다. 변경 요청은 LLAMA_DSV41_SPARSE=0으로 이 경로를 끌 수 있어 해당 대체 계산을 유지한다고 설명했다.

원문에는 이번 변경 전후의 속도나 메모리 사용량을 비교한 측정 결과가 없다. 삭제한 코드의 양은 유지보수 범위가 줄었다는 근거로 읽는 편이 적절하다.

b12606의 핵심은 이미 쓰던 융합 연산에 맞춰 코드를 정리하고, 모델별 대체 계산을 유지하던 부담과 선택지를 함께 줄인 데 있다.