Ripple-65B Preview: 로컬 추론, 에이전트 코딩

1. 코딩에 초점을 맞춘 범용 모델

Ripple-65B Preview는 범용 모델이며, 초기 공개판은 에이전트 코딩(모델이 도구를 써 가며 코딩 작업을 수행하는 용도)에 초점을 맞춰 비교적 가벼운 후학습을 거쳤다.

모델은 650억 파라미터로 구성되며, 12조 토큰으로 사전학습했고 최대 100만 토큰 문맥을 지원한다.

공개 묶음에는 지시를 따르도록 추가 학습한 모델과 사전학습만 마친 기반 모델이 포함된다. 지시 학습 모델은 정밀도가 높은 BF16 형식과 용량을 줄인 저정밀 NVFP4 형식으로 제공된다. 회사는 로컬 개발용으로 NVFP4 체크포인트(저장된 모델 상태를 담은 자료)와 콜랩 실행 자료를 제공한다고 밝혔다. 라이선스는 Apache 2.0이다.

배포 경로는 Hugging Face와 클라우드 서비스로 나뉜다. 회사는 Together AI, GMI Cloud, OpenRouter에서 이용할 수 있다고 안내했다.

2. 공통 평가 도구에서도 코딩 점수 선두

회사 발표 기준 Terminal-Bench 2.1 점수는 80.52다. 모델 카드의 표에서는 80.5로 표시하며, 비교 모델은 BF16 정밀도와 모델의 추론 노력을 최대로 높인 설정에서 평가했다고 설명한다.

모델 카드는 회사별 자체 보고 점수와 공통 평가 도구를 적용한 결과를 별도 행으로 제시했다. 아래는 같은 작업 수행·채점 도구인 Terminus 2를 사용한 행으로, 시퀀스 길이 128K와 요약 기능을 적용한 비교다.

표: 공통 평가 도구를 적용한 코딩 벤치마크

조건: 회사 모델 카드의 Terminal-Bench 2.1 (Terminus 2) 행, BF16 정밀도·최대 노력 설정, 공식 Terminus 2 하네스·128K 시퀀스 길이·요약 사용

단위: 점수

회사 발표 기준 이 비교에서 Ripple은 차점인 Muse Spark Open의 78.7보다 1.8점 높았다. 모델 카드는 평가 도구와 요약 설정에 따라 점수가 달라진다고 설명하므로, 도입 판단에는 표에 적힌 평가 조건을 함께 적용해야 한다.

3. 단순한 구조와 토큰별 연산량의 맞교환

회사는 학습·서빙(모델을 요청에 응답하도록 운영하는 과정) 인프라를 단순하게 만들려고, 토큰마다 일부 파라미터만 쓰는 전문가 혼합형 대신 전체를 쓰는 밀집형 구조를 택했다. 내부는 폭을 좁히고 층을 깊게 쌓는 방식으로 설계했다.

이 선택은 로컬 장비에 담을 수 있는 전체 모델 크기와 단순한 운영 구조를 얻는 대신, 토큰마다 650억 파라미터를 처리하는 비용을 치르는 맞교환이다. 회사가 비교한 전문가 혼합형 모델은 전체 크기가 더 크지만 토큰당 활성 파라미터는 230억~550억이다. 전체 크기는 장비 메모리에 모델을 담을 수 있는지를, 토큰당 활성 파라미터는 생성 시 연산 부담을 가늠하는 기준이다.

회사 발표 기준 개발부터 최종 학습까지 전체 연구개발 비용은 3200만 달러로, 회사가 추정한 종전 에이전트 코딩 선두 오픈 웨이트 모델 비용의 10분의 1이다. 후학습 데이터는 구매하지 않고 자체 합성 데이터 파이프라인, 데이터 생성과 처리를 자동화하는 흐름을 만들었다고 설명했다.

4. 로컬 기기와 데이터센터의 실행 경로

회사는 모델을 NVIDIA DGX Spark 같은 소비자용 장비에 담을 수 있다고 밝혔다. 회사 설명에 따르면 DGX Spark는 데이터센터 가속기보다 메모리 대역폭에 비해 연산 능력이 높은 장비다. Ripple은 전체 저장 규모를 줄이면서 이 연산 능력을 활용하는 설계로, 밀집형이라는 이유만으로 로컬 실행에 유리한 것은 아니다. 데이터센터에서는 회사 발표 기준 B200 두 장, 배치 크기 8(한 번에 함께 처리하는 입력 묶음의 수), 양자화(수치 정밀도를 낮춰 용량을 줄이는 기법)와 맞춤 커널을 적용하기 전 조건에서 초당 250토큰을 생성했다.

서버 안내는 BF16 모델에 DFlash2 초안 모델을 붙이는 실행 예를 제공한다. 초안 모델은 다음에 나올 토큰 후보를 미리 제안하는 역할을 한다.

실행 환경은 SGLang 0.5.19를 사용하며 리눅스와 CUDA Toolkit 13, C++ 컴파일러, uv가 필요하다. 아래 코드는 저장소의 서버 안내에 실린 그대로다.

export CUDA_HOME=/usr/local/cuda-13.0
export PATH="$CUDA_HOME/bin:$PATH"

CUDA_VISIBLE_DEVICES=0,1 uv run --script serve.py \
  --model-path /path/to/target \
  --speculative-draft-model-path /path/to/draft

5. 개발자는 배포 형식부터 고르면 된다

로컬 개발을 시작하려면 저정밀 체크포인트와 콜랩 자료를, 데이터센터에서 서버를 띄우려면 두 장의 GPU를 쓰는 실행 안내를 출발점으로 삼을 수 있다. 공개 가중치와 실행 예를 함께 제공해 모델 선택에서 직접 운영으로 이어지는 경로를 마련했다는 점이 이번 공개의 실용적 변화다.

Ripple-65B Preview는 코딩 성능 경쟁을 로컬 배포로 연결하되, 모델을 담는 크기와 실행 연산량을 함께 고려하게 하는 선택지다.