NVIDIA가 긴 문서와 대규모 코드베이스를 처리하는 모델 개발자를 위해 희소 어텐션 설계 지침을 공개했다. 필요한 키만 골라 계산하는 방식에서 한발 더 나아가, 키를 고르는 단계와 실제로 읽어 계산하는 단계를 함께 최적화해 긴 컨텍스트의 처리 부담을 낮추는 방법이다. 학습 과정에 희소성을 반영하는 모델 설계가 대상이다.
1. 계산을 줄이면 키 선택이 새 병목이 된다
일반 어텐션은 질의마다 전체 키를 비교하지만, 희소 어텐션은 관련성이 높은 키 몇천 개만 사용한다. 책 전체를 읽는 대신 필요한 쪽만 펼치는 것과 비슷하다. 다만 필요한 쪽을 찾는 역할의 인덱서는 여전히 전체 키에 점수를 매긴다.
회사 발표 기준 DeepSeek V3.2의 입력 128K 토큰 처리에서는 인덱서와 상위 키 선택이 한 층 실행 시간의 47%를 차지했다. 실제 어텐션 계산보다 키를 찾는 시간이 더 길어, 최적화의 초점도 선택 단계로 옮겨간다.
NVIDIA GPU, DeepSeek V3.2의 DSA, 입력 길이 128K 토큰, 층별 입력 처리 시간 기준
| 항목 | 시간 비중 |
|---|---|
| 인덱서와 상위 키 선택 | 47 |
| 핵심 어텐션 | 24 |
| 순방향 신경망 연산 | 25 |
표는 같은 모델과 입력 길이에서 주요 단계가 차지하는 비중이다. 회사 발표 기준 인덱서와 상위 키 선택의 비중은 핵심 어텐션의 24%보다 컸다.
2. 입력 처리와 토큰 생성의 병목은 다르다
인덱서는 질의와 키를 행렬곱, 행과 열을 곱해 합산하는 연산으로 비교한 뒤, 후처리로 키마다 하나의 점수를 만든다. 입력을 한꺼번에 처리하는 단계에서는 큰 행렬곱의 계산량이 중요하다. 반면 다음 토큰을 생성하는 단계에서는 적은 질의로도 키 캐시, 앞서 계산한 키를 저장한 메모리 전체를 읽어야 하므로 메모리 읽기가 주요 병목이다.
이하 인덱서 측정의 기본 조건은 회사 발표 기준 8비트 부동소수점(FP8) 커널, GPU에서 계산을 수행하는 프로그램, 인덱서 키 64K개, 압축비, 원본 대비 줄인 정도를 나타내는 수치 4, 헤드 차원, 각 헤드가 다루는 벡터의 크기 128이다. 키 헤드는 하나이며 입력 처리 배치 크기는 1, 토큰 생성 배치 크기는 128이다. 압축비 실험은 시퀀스 길이를 256K로 고정했다.
하나의 키 헤드를 공유하는 질의 헤드 수를 그룹 크기라고 한다. 회사 발표 기준 그룹 크기가 16배 커져도 토큰 생성 단계의 실행 시간 변화는 2%였다. 같은 키 캐시를 한 번 읽어 여러 질의 헤드에 활용하기 때문이다.
이점과 비용은 단계별로 달라진다. 그룹을 키우면 메모리에서 읽은 키를 더 많이 활용하지만, 입력 처리 단계에서는 계산량과 실행 시간이 늘어난다. 모델 개발자는 토큰 생성의 효율만이 아니라 긴 입력을 처음 처리하는 비용까지 함께 따져야 한다.
3. 초안 검증은 한 번에 처리할 크기에 맞춘다
여러 초안 토큰을 함께 검증하는 추측 디코딩도 같은 키 캐시를 재사용한다. 여기서 그룹 크기와 검증할 질의 수는 GPU가 한 묶음으로 계산하는 데이터 단위인 타일의 공간을 나눠 쓴다. NVIDIA는 32비트 부동소수점(FP32) 후처리에서 실용적으로 약 200개 질의 행을 한 타일에 담을 수 있다고 설명했다.
회사 발표 기준 그룹 크기 32에서 질의 6개를 처리할 때 작업량은 6배, 실행 시간은 1.37배였다. 그룹 크기 8에서는 질의 26개로 작업량이 26배가 될 때 실행 시간은 1.87배였다. 각 수치는 해당 그룹 크기의 질의 하나 처리 대비이며, 타일에 들어가는 범위를 넘으면 캐시를 추가로 읽게 돼 실행 시간이 뛰어오른다.
NVIDIA는 인덱서 헤드 차원으로 128 또는 256을 권했다. 회사 발표 기준 64에서 128로 넓힐 때 입력 처리 시간 증가는 1.1~1.2배였지만, 토큰 생성에서는 늘어난 키 데이터만큼 읽기 비용이 커졌다. 키 헤드를 하나에서 8개로 늘린 경우에는 입력 처리 시간이 1.3~1.6배, 토큰 생성 시간이 7.6배가 됐다.
4. 점수 대상과 중간 데이터 이동을 함께 줄인다
키를 압축해 여러 토큰을 대표하게 하거나, 계층적으로 후보를 좁히거나, 층 사이에서 선택 결과를 공유하면 점수화할 작업을 줄일 수 있다. NVIDIA의 압축비 실험에서는 압축비를 절반으로 낮출 때 입력 처리 시간이 두 배가 됐다. 토큰 생성도 대체로 두 배였으며, 키 캐시가 8K인 조건에서는 1.8배였다.
점수가 높은 키를 남기는 Top-k를 인덱서 커널과 합치면 전체 점수를 메모리에 쓴 뒤 다시 읽는 과정을 없앨 수 있다. TensorRT LLM은 다음 토큰을 생성할 때 직전 단계의 선택 결과를 추정값으로 재사용하는 방식도 제공한다.
이 재사용 방식은 회사 발표 기준 DeepSeek V3.2와 DeepSeek V4의 토큰 생성 단계에서 점수를 자릿수별로 가려내는 기존 선택 방식보다 2.1~2.4배 빨랐다.
개발자는 FlashInfer의 공개 구현에서 인덱서와 선택 작업을 한 커널에 합치는 접근을 참고할 수 있다.
5. 연속 블록을 고르면 읽은 데이터를 공유하기 쉽다
토큰별로 키를 고르면 선택된 데이터가 캐시 곳곳에 흩어진다. 연속된 블록, 연속된 데이터를 묶은 단위를 고르면 묶음으로 읽고, 같은 블록을 선택한 질의 사이에서 데이터를 공유할 수 있다. NVIDIA가 큰 블록을 우선 고려하라고 권하는 이유다.
회사 발표 기준 질의당 선택 키 2,048개를 고정한 실험에서는 블록 크기를 절반으로 줄일 때 입력 처리와 토큰 생성 시간이 거의 두 배가 됐다. 계산량과 키·값 데이터 총량이 같아도 블록 수가 늘면 질의 데이터를 불러오고 부분 결과를 합치는 작업이 늘어난다.
긴 컨텍스트 추론의 최적화 단위는 개별 어텐션 커널이 아니라, 키 선택부터 데이터 읽기까지 이어지는 전체 경로다.
