래딕스아크가 2026년 11월 18일 강화학습만으로 후훈련한 첫 공개 모델을 내놨다. 회사의 공식 평가에서 Terminal Bench 2.1은 기본 모델 73.0에서 75.5로, DeepSWE v1.1은 42.2에서 46.2로 높아졌다. 개발자는 기존 모델의 구동 환경을 유지하면서 새 가중치, 모델의 동작을 정하는 학습된 수치값으로 교체해, 여러 단계에 걸쳐 도구를 쓰는 에이전트 작업의 성능을 시험할 수 있다.

1. 정답을 가르치는 대신 긴 과제로 학습

DaisyRose-27B는 Qwen3.8-27B 기반의 이미지 이해·추론 모델이다. 정답 예시로 추가 학습하는 지도 미세조정이나 다른 모델의 출력을 본떠 학습하는 증류 없이 강화학습만 적용했다. 기본 모델의 구조와 채팅 템플릿, 이미지 이해 능력, 256K 토큰 문맥 길이를 유지한다.

학습 데이터는 Eigent AI와 만든 수천 개 후보 중 약 1,200개 과제다. 기본 모델이 틀리는 지점을 겨냥하고, 의도한 문제를 풀지 않고 통과할 수 있는 과제는 수정하거나 제외했다. 한 번의 시도에는 격리된 실행 환경, 다른 작업과 분리해 실행하는 공간에서 최대 1.5시간, 도구 호출 100회 초과, 출력 256K 토큰 초과가 허용됐다.

2. 에이전트 실행과 학습을 동시에 진행

오픈소스 학습 도구 Miles를 이용해 에이전트가 작업하는 동안 학습도 계속했다. H200 GPU 128대가 작업을 수행하고 16대가 완료된 작업 기록을 학습한 뒤, 매 단계 갱신된 가중치를 실행 쪽에 돌려보냈다. 최대 100만 토큰 세션은 실행 내용을 요약해 여러 학습 기록으로 나눴다.

회사 블로그에 따르면 총 144대의 H200에서 18일간 약 6만3,000 GPU시간을 사용했다. 자체 백엔드, 연산 요청을 실제 처리하는 내부 구성요소의 GPU 연산 활용률은 37%로, 비교 가능한 실행에서 Megatron 기반 오픈소스 트레이너, 모델 학습을 실행하는 소프트웨어의 16%보다 높았고 같은 학습에 필요한 GPU 시간은 57% 줄었다. 에이전트 작업 시간까지 포함한 처리량, 단위 시간에 처리하는 토큰 수는 같은 144대에서 초당 약 16,800토큰으로, 비교 대상의 약 8,300토큰보다 높았다.

3. 공식 성적은 반복 횟수와 평가 버전까지 확인

모델 카드에 따르면 새 모델 점수는 가중치의 수치 정밀도 형식인 BF16과 FP8 실행 중 높은 값이며, 둘 다 평가한 항목의 차이는 1점 미만이다. 회사의 새 모델 평가는 추론 강도를 기본 최상위 설정으로 두고 문맥 범위 안에서 출력 길이 상한을 따로 걸지 않았다.

회사 발표 기준 Terminal Bench 4.1의 한 번 시도 성공률은 12.0%다. 과제당 8회 반복해 평균을 냈으며, 사내 평가 실행 도구인 mini-swe-agent에서 요약 기능을 켰다.

공식 비교표의 대표 평가를 기본 모델과 나란히 놓으면 다음과 같다.

표: 기본 모델과 DaisyRose-27B의 대표 평가 점수

조건: 모델 카드의 동일 평가 버전별 보고 점수, 기본 모델은 외부 출처 값이며 새 모델은 BF16·FP8 중 높은 값

단위: 점

동일 평가 버전의 기본 모델과 새 모델 점수 비교Terminal Bench 2.1: Qwen3.8-27B 73.0, DaisyRose-27B 75.5; DeepSWE v1.1: Qwen3.8-27B 42.2, DaisyRose-27B 46.2; HLE 텍스트: Qwen3.8-27B 33.9, DaisyRose-27B 34.3Qwen3.8-27BDaisyRose-27BTerminal Bench 2.173.075.5DeepSWE v1.142.246.2HLE 텍스트33.934.3
동일 평가 버전의 기본 모델과 새 모델 점수 비교
공식 성적은 반복 횟수와 평가 버전까지 확인
평가Qwen3.8-27BDaisyRose-27B
Terminal Bench 2.173.075.5
DeepSWE v1.142.246.2
HLE 텍스트33.934.3

Terminal Bench 2.1은 2.5점, DeepSWE v1.1은 4.0점 높아진 반면 HLE 텍스트의 차이는 0.4점이다. 작업별 개선 폭이 균일하지 않으므로 사용할 작업에 맞는 평가를 살펴야 한다.

Terminal Bench 2.1에서 새 모델은 과제당 5회 반복해 Terminus 2로 평가했다.

DeepSWE v1.1에서 새 모델은 과제당 8회 반복해 mini-swe-agent로 평가했다.

SWE Bench Pro v2의 새 모델 점수는 94.7이며 과제당 5회 반복해 같은 평가 도구를 사용했다.

HLE 텍스트는 도구 없이 텍스트 문제에 답하는 능력을 평가한다. 새 모델은 문제당 5회 답하고 GPT-6 Luna가 채점했다.

지시 이행을 보는 IFBench는 기본 모델 79.5, 새 모델 82.4로, 새 모델은 300개 프롬프트에 4회씩 답한 최종 응답을 공식 채점기로 평가했다.

과학 지식·추론 평가인 GPQA Diamond는 기본 모델 89.2, 새 모델 90.7이다. 새 모델은 198개 문항에 8회씩 답했고, 매번 보기 순서를 바꿨다.

다만 비교표의 기본 모델 5.6%는 Terminal Bench 4.0 결과여서 새 모델과 평가 버전이 다르다. SWE Bench Pro v2의 기본 모델 91.3은 전체 642개 과제의 별도 논문에서 가져왔으며, 어려운 과제 부분집합만 발표한 모델은 이 표에서 빈칸 처리됐다.

4. 가중치 형식을 고르고 기존 서버에서 호출

회사는 SGLang과 DSpark의 추측 디코딩, 즉 후속 토큰을 미리 생성해 확인하는 방식을 권장한다. GPU와 가중치 형식별 실행 설정은 공식 구동 안내서에서 제공한다.

가중치는 Apache-2.0 라이선스로 공개됐다. 모델 카드에 제시된 형식별 가중치 크기는 다음과 같다.

표: 공개 가중치의 형식별 크기

조건: DaisyRose-27B 가중치, 모델 카드에 기재된 형식별 근삿값

단위: GB

형식별 가중치 크기BF16: 가중치 크기 52; FP8: 가중치 크기 29; NVFP4: 가중치 크기 23BF1652FP829NVFP423
형식별 가중치 크기
가중치 형식을 고르고 기존 서버에서 호출
형식가중치 크기
BF1652
FP829
NVFP423

가중치 크기만 보면 FP8은 BF16보다 약 23GB, NVFP4는 약 29GB 작아 형식에 따라 가중치를 담는 데 필요한 공간이 달라진다. 이는 전체 실행 메모리나 속도 차이를 뜻하지 않는다. 회사 안내에 따르면 한 장의 GPU에서도 실행할 수 있고, NVFP4에는 Blackwell GPU가 필요하다. 개발자는 보유 장비에 맞는 형식을 고른 뒤 서버를 띄워 다음 모델 카드 예시로 호출할 수 있다.

from openai import OpenAI

client = OpenAI(base_url="http://localhost:30000/v1", api_key="none")
SAMPLING = dict(temperature=1.0, top_p=0.95, extra_body={"top_k": 20, "min_p": 0.0})

resp = client.chat.completions.create(
    model="DaisyRose-27B",
    messages=[{"role": "user", "content": "How many positive divisors does 360 have?"}],
    **SAMPLING,
)

모델은 기본적으로 답변 전에 추론하며, 추론 내용은 reasoning_content, 최종 응답은 content로 반환한다. 여러 턴 대화에서는 앞선 추론 내용도 함께 보내면 채팅 템플릿이 이를 유지한다.

5. 연산 절감의 이익과 과제·추론 비용

회사 블로그에 따르면 자체 샌드박스, 프로그램을 제한된 환경에서 실행하는 공간의 클라우드 인프라 비용은 같은 작업을 인기 클라우드 샌드박스 업체에서 실행할 때보다 약 80% 낮았다. 대신 과제 선별·검토와 실행 환경 운영이 필요했고, 프로젝트에서 운영한 샌드박스는 약 944,000개였다. 사용 단계에서도 추론이 수만 토큰까지 길어지면 응답 시간과 토큰 사용량이 늘고, 앞선 추론을 되보내는 대화는 요청 크기가 커진다.

DaisyRose-27B는 기존 구동 환경에서 강화학습 후훈련의 효과를 시험할 선택지이며, 도입 판단의 핵심은 작업별 성능 이득과 긴 추론의 비용을 함께 재는 데 있다.