엔비디아가 여러 호스트에 나눠 실행하는 추론 서비스에서도 이전 요청의 앞부분을 저장한 캐시를 함께 쓰도록 지원을 확대했다. 서비스 개발자와 운영자는 앞부분을 다시 계산하는 대신 복원하는 경로를 활용할 수 있고, 다음 출력 후보를 미리 제안하는 추측 디코딩 관련 개선도 함께 받는다.
1. 여러 호스트가 함께 참여하는 공유 캐시
11월 11일 공개된 Hyperflare Inference v0.1.0에는 여러 호스트가 모델 계산을 나눠 맡는 텐서 병렬 구성의 캐시 공유 지원이 들어갔다. PR #140은 기존 Selene 캐시 풀을 이 구성으로 확장했다. 풀은 인스턴스와 호스트 사이에서 요청 앞부분의 캐시를 나누는 공용 저장소 역할을 한다.
연결은 대표 작업 단위가 제안하고 전체 작업 단위가 승인해야 이뤄진다. 메모리 등록을 하나라도 거절하면 전체가 각자의 로컬 저장 계층을 이용한다. 이 방식에 맞춰 운영자는 풀 설정을 모든 작업 단위에 똑같이 적용하거나 전부 생략한다.
2. 두 호스트 검증에서 복원 시간을 단축
회사 발표 기준, 호스트 두 대에서 병렬로 계산을 나누는 TP2 구성의 캐시 복원은 약 0.1~0.3초, 캐시 없이 시작하는 경로는 40~60초였다. SM120에서 소프트웨어 방식의 RoCE, 이더넷 기반 원격 메모리 통신인 Soft-RoCE로 연결하고, 풀 연결은 평문 TCP와 암호화된 TLS로 시험했다.
표: 두 호스트 구성의 캐시 복원 검증 결과
조건: Two hosts, TP2, over Soft-RoCE on SM120, with plain TCP and TLS pool links. Restored continuations were compared with GPU-resident ones by top-20 logprobs.
| 항목 | 복원 시간(초, 약) | 캐시 없이 시작한 시간(초) | TV 차이 상한 |
|---|---|---|---|
| 캐시 축출·복원 | 0.1–0.3 | 40–60 | 8e-4 |
복원 후 이어서 생성한 결과는 GPU에 계속 보관한 캐시를 사용한 결과와 상위 20개 토큰의 로그 확률로 대조했다. 표의 TV는 확률 분포 차이를 나타내는 지표다. 같은 검증에서 복원 시간이 짧고 분포 차이도 작게 나타나, 캐시 재사용의 실용성을 보여 준다.
풀 관리자 재시작 뒤 두 작업 단위가 다시 연결됐고, 한 작업 단위를 종료한 뒤 재시작해 캐시를 복원하는 시험도 통과했다. 속도뿐 아니라 중단 이후의 재연결과 복원 동작도 확인한 셈이다.
3. 추측 디코딩은 후보 준비와 전달을 손봤다
추측 디코딩 쪽에서는 후보를 만드는 NVFP4 초안 출력부와 Markov, 이전 상태를 바탕으로 다음을 정하는 방식의 출력부를 독립된 선택지로 준비하도록 했다. 후보 제안을 블록 단위로 전파하고, BF16 형식의 Markov 샘플링 처리를 합치는 변경도 포함됐다. 후보를 준비하는 단계와 병렬 실행 중 전달하는 단계를 함께 손본 것이다.
DeepSeek의 추측 샘플링에서는 어휘별 확률을 각 작업 단위에 유지하도록 바꿨다. DSpark 초안 점수 계산을 통합하고, 선택형 MXFP8 초안 어휘 출력부를 준비하는 변경도 담겼다.
추측 디코딩 항목은 받은 릴리스 노트의 변경 제목으로 확인되며, 그 효과를 수치로 보여 주는 측정치는 두 자료에 없다. 캐시 검증도 소프트웨어 방식의 연결에서 이뤄졌으며, 실제 RoCE 네트워크 카드와 aarch64의 풀 구성은 시험하지 않았다.
4. 재계산을 줄이는 대신 빌드와 저장·보안을 챙긴다
리눅스의 x86_64 환경에서 RoCE 통신을 쓰려면 기능을 명시해 빌드하고, 빌드와 실행 환경 모두에 libibverbs를 갖춰야 한다. 원문이 제시한 빌드 명령은 다음과 같다.
cargo build --release --locked --manifest-path flare/Cargo.toml --features roce기본 빌드는 GPU 자원을 올리기 전에 다중 호스트 서빙을 거부하므로, 도입할 때는 통신 기능을 포함한 빌드를 먼저 준비한다. 다중 호스트의 로컬 캐시는 디스크에 보존한다. 로컬 디스크를 지우고 재시작할 때 복원을 하려면 기록이 이미 풀 관리자 저장소로 넘어가 있어야 한다.
공유 캐시는 앞부분을 재계산하는 부담을 줄이는 대신, 운영자가 통신 빌드와 디스크 보존을 관리하도록 한다. 풀과 기록 연결은 세션 비밀값과 전송 토큰을 평문으로 보내므로 클러스터 네트워크를 보호하는 작업도 필요하다.
이번 릴리스의 가치는 캐시 재사용을 여러 호스트로 넓히면서, 추측 디코딩의 후보 준비와 병렬 처리 경로도 함께 다듬은 데 있다.