NVIDIA가 실험 기록으로 모델 답을 자동 채점하고, 그 점수를 보상으로 삼아 과학 과제에 맞게 후훈련하는 방법을 공개했다. 연구팀은 보유한 실험 데이터와 검증 도구를 연결해 특정 분야에 맞는 모델을 만들 수 있으며, 약물 대사 예측 사례에서 지도 미세조정과 강화학습을 차례로 적용했다.

1. 실험 결과를 자동 채점 기준으로 바꾼다

이 레시피의 입력은 측정 결과가 함께 기록된 실험 데이터다. 예시에서는 분자 구조와 반응 조건, 실험 결과를 CSV에 담고, 각 행을 모델에 건넬 질문과 정답으로 구성한다. 정답을 사람의 선호 표시로 만들지 않고 실험 기록에서 가져와 보상 신호로 쓴다.

사례 과제는 부모 분자와 대사 효소를 입력받아 생성될 대사물을 예측하는 일이다. 자료로는 실험에서 확인된 생체 변환, 생물체 안에서 일어나는 화학적 변화 반응을 담은 MetxBioDB를 사용했다. 채점기는 분자의 구조적 특징을 수치로 나타낸 ‘분자 지문’을 서로 맞춰 보고, 예측과 정답이 얼마나 비슷한지 Tanimoto 유사도, 두 구조의 겹침 정도를 나타내는 수치로 계산한다. 점수는 0에서 1 사이이며, 높을수록 두 구조의 지문이 더 비슷하다.

검증기는 간단한 유사도 계산부터 화학정보학 도구, 화학 정보를 계산·분석하는 분야의 도구, 분자 시뮬레이터, 자율 실험실까지 과제에 맞춰 구성할 수 있다. 중요한 설계 선택은 무엇을 성공으로 볼지 정하는 보상 함수, 결과를 점수로 계산하는 규칙이다. 보상이 과학적 결과를 제대로 반영해야 모델이 원하는 방향으로 학습한다.

2. 강화학습이 자동 채점 결과로 답을 개선한다

환경을 만든 뒤 NVIDIA는 Nemotron 3.5 Super VL을 강화학습으로 조정하는 절차를 제시한다. 모델은 입력을 바탕으로 답을 추론해 도구를 호출하고, 검증기는 제출 결과를 평가해 보상을 반환한다. 이 사례에서는 Morgan 분자 지문의 반지름을 2, 길이를 2048비트로 설정하고 첫 제출만 채점한다.

회사 발표 기준, 약물 대사 예측 환경에서 출력 예산, 모델 답변에 허용한 토큰 한도 16,384토큰을 적용했을 때 정답 사례를 학습하는 지도 미세조정(SFT)이 정확도를 12% 높였고, 채점 보상으로 답변 방식을 조정하는 강화학습(RL)이 추가로 17% 높였다. 또 블로그 그림에는 후훈련 단계별 평균 Tanimoto 유사도가 제시돼 있다.

표: 약물 대사 예측의 평균 분자 유사도

조건: 회사 발표 그림 기준, 약물 대사 예측 환경, Morgan 지문 Tanimoto 유사도

단위: Tanimoto 유사도

약물 대사 예측 단계별 평균 Tanimoto 유사도Nemotron 3.0 Super: 평균 유사도 0.33; Nemotron 3.5 Super VL: 평균 유사도 0.69; Nemotron 3.5 Super VL, SFT 후: 평균 유사도 0.78; Nemotron 3.5 Super VL, SFT 체크포인트에서 RL 후훈련: 평균 유사도 0.90Nemotron 3.0 Super0.33Nemotron 3.5 Super VL0.69Nemotron 3.5 Super VL, SFT 후0.78Nemotron 3.5 Super VL, SFT 체크포인트에서 RL 후훈련0.90
약물 대사 예측 단계별 평균 Tanimoto 유사도
강화학습이 자동 채점 결과로 답을 개선한다
모델·학습 단계평균 유사도
Nemotron 3.0 Super0.33
Nemotron 3.5 Super VL0.69
Nemotron 3.5 Super VL, SFT 후0.78
Nemotron 3.5 Super VL, SFT 체크포인트에서 RL 후훈련0.90

이 그림의 0.69와 0.90 사이에는 31% 향상 표기가 있다. 이는 특정 약물 대사 과제에서 회사가 보고한 결과이며, 16,384토큰 조건의 정확도 향상 수치와는 지표가 다르다.

3. 실험 데이터와 인프라가 성능 개선의 기반이다

공개된 실행 예시는 4개 노드에 노드당 GPU 4개를 배치하는 멀티 노드 GRPO, 답변 그룹 보상차로 학습하는 방식의 작업이다. 환경 구성에는 NeMo Gym을, 후훈련에는 NeMo RL을 사용하며, 데이터 준비부터 보상 서버와 학습 도구 연결까지 단계가 필요하다. 같은 구조는 숫자형 보상을 반환할 수 있는 다른 과제에도 적용할 수 있지만, 각 분야의 실험 자료와 채점 도구는 과제에 맞게 준비해야 한다.

# Multi-node GRPO run (16 GPUs)
python examples/nemo_gym/run_grpo_nemo_gym.py \
    --config configs/grpo_metxbiodb_super_vl.yaml \
    cluster.num_nodes=4 cluster.gpus_per_node=4 \
    grpo.max_num_steps=100

성능 향상의 대가로 연구팀은 실험 데이터를 정리하고 검증기를 설계해야 하며, 제시된 실행 설정에는 16개 GPU 규모의 멀티 노드 자원이 들어간다. 교사 모델을 활용하는 선택 경로에서는 모델 추론 호출도 필요하다. 따라서 보상 기준이 명확하고 데이터로 확인할 수 있는 과제인지가 도입의 실질적인 출발점이다. 학습에 쓰지 않은 데이터로 출발 모델과 비교하면 후훈련의 개선 여부를 평가할 수 있다.

4. 교사 모델 증류는 RL의 선택적 준비 단계다

기본 모델의 능력이 부족하거나 RL 수렴이 느릴 때는 강화학습 전에 증류, 교사 답을 학습 자료로 삼는 방법을 더할 수 있다. 더 강한 교사 모델, 답과 학습 자료를 제공하는 모델이 같은 환경에서 추론 사례를 만들고, 학생 모델, 교사 사례로 학습하는 대상 모델은 높은 점수를 받은 사례로 먼저 미세조정한다. 회사는 이 워밍스타트, 초기 학습을 돕는 사전 준비 단계가 수렴, 학습 결과가 안정되는 상태를 앞당기고 이후 RL의 효율을 높일 수 있다고 설명한다.

약물 대사 사례에서는 Anthropic의 Claude Sonnet 5.5가 교사 모델이다. 학습 프롬프트 1,934개에서 Tanimoto 점수가 0.7 이상인 추론 사례 1,123개를 골라 SFT 자료로 삼았다. 임계값, 포함 여부를 가르는 기준 점수를 높이면 더 엄격히 일치하는 답만 남고, 낮추면 정답과 다른 변형도 포함될 수 있다.

이 레시피의 핵심은 모델 자체보다 실험 결과를 학습에 쓸 수 있는 보상으로 바꾸는 검증 설계다.