10월 12일 Project Maya 저장소에 RTX 3090 한 장과 두 장 구성의 속도 보고가 올라왔다. 기여자 briepala는 디코드(답변 생성) 평균 속도를 한 장에서 26.0 tok/s, 두 장에서 53.0 tok/s로 측정했다.
두 카드 모두 전력 상한을 225W로 낮춘 상태였다. 작성자는 공장 기본 상한이 더 높으므로 기본 설정 3090의 수치가 아니라고 밝혔다.
GPU·RAM·SSD에 전문가를 나눠 두는 엔진
Project Maya는 GLM-5.3-Flash 한 모델에 맞춘 엔진이다. README에 따르면 대화에 가장 많이 쓰이는 전문가는 GPU에, 다음 전문가는 RAM에, 나머지는 NVMe SSD에 두고 대화 중에 옮긴다.
Maya의 양자화 모델은 모두 원본의 MTP 블록을 유지한다. MTP는 앞으로 나올 토큰을 미리 제안(드래프트)하는 블록이다.
보고에 적힌 측정 조건
환경은 Maya v1.1.2(커밋 83044ba), 모델 Maya-S24, Threadripper 3970X, DDR4 126GB, CachyOS Linux였다. 각 3090은 24GB이고 PCIe 4.0 x16으로 연결됐으며 NVLink는 없었다.
디코드는 greedy 방식에 사고(thinking) 모드를 끄고 256토큰 답변 3개를 평균했다. 이 기사에서 직접 시험한 결과가 아니라 기여자의 측정이다.
한 장 구성은 모든 레이어를 CUDA0에 두고 드래프팅을 하지 않았다. 두 장 구성은 레이어를 0~23과 24~44로 나누고 MTP 블록으로 드래프팅했다.
두 장 실행의 한 답변에서는 드래프트 254개 중 243개(95.7%)가 채택됐다. 프리필 청크 크기는 한 장에서 32,768, 두 장에서 8,192였다.
메인테이너는 두 번째 카드로 속도가 거의 두 배가 된 이유로 VRAM에 올라간 전문가 비율 증가(65%→약 80%)와 MTP 드래프트를 들었다.
주의할 점: 측정하지 않은 조건
8K 프롬프트의 프리필은 한 장에서 913 tok/s, 두 장에서 885 tok/s였다. 2K 프롬프트에서는 565와 592 tok/s였다.
컨텍스트는 131,072토큰으로 설정했지만, 작성자는 8K보다 긴 프롬프트, 병렬 요청(--parallel), 공장 기본 전력 상한과의 비교를 측정하지 않았다고 밝혔다.
두 장 구성에서 프리필 청크를 32,768로 맞춘 실행도 측정 목록에서 빠졌다.
디코드와 프리필이 다른 작업에 미치는 영향
긴 답변을 많이 만드는 작업이라면 디코드 속도가 전체 시간에서 큰 비중을 차지한다.
큰 입력을 반복해 넣는 작업은 첫 토큰이 나오기 전 프리필에 더 많은 시간을 쓴다. 이 보고에서 프리필은 두 장에서도 빨라지지 않았다.
두 실행에서 분리되지 않는 원인
두 장 구성에서는 VRAM의 전문가 비율, 레이어 배치, MTP 드래프팅이 동시에 달라졌다. 두 실행만으로는 각 요인이 속도에 얼마나 기여했는지 나눌 수 없다.
그래서 이 결과는 두 번째 GPU 한 장의 효과가 아니라, 완성된 두 구성의 동작을 비교한 것이다.
자기 시스템에서 다시 비교할 항목
비슷한 하드웨어로 비교한다면 모델 팩, 프롬프트, 출력 길이, 전력 상한, 드래프팅 여부를 맞추고 실제 레이어 분할과 프리필 청크를 기록하는 방법이 있다.
Project Maya의 3090 두 장 보고는 GPU 수와 MTP 드래프팅이 함께 바뀐 구성 비교이며, 두 번째 카드만의 확장 배율을 보여 주지는 않는다.