Ai2가 10월 1일 Olmo-core 3를 공개했다. 전문가 혼합(MoE, 입력마다 일부 전문가 모듈만 쓰는 모델 구조) 학습 시스템을 다시 설계한 프레임워크다.
Ai2는 이를 다음 세대 Olmo의 핵심 기반으로 소개했다. 이번 발표에 새로 학습한 모델 가중치는 없다.
한 시험에서 토큰당 4개 전문가만 고르면서 전문가 수를 8개에서 128개로 늘렸다. 활성 파라미터는 약 3.2B로 유지됐고, 전체 파라미터는 4.6B에서 47B로 커졌지만 학습 처리량 감소는 5% 미만이었다고 한다.
이전 MoE 구현은 완전 분할 데이터 병렬화(FSDP)로 작은 배치마다 가중치를 모으고 다시 나눴다. Olmo-core 3는 분산 데이터 병렬화(DDP) 기반으로 바꿔 전문가를 GPU에 상주시키고 데이터를 해당 전문가로 보낸다.
Ai2의 예비 시험에서 NVIDIA B300 8개로 47B 파라미터 MoE를 학습할 때 GPU당 초당 52,000토큰을 처리했다. 이전 구현의 19,400토큰보다 약 2.7배다.
모델과 학습 상태는 전문가 병렬화, 파이프라인 병렬화, 분산 옵티마이저로 여러 GPU에 나눈다. 분산 옵티마이저는 업데이트 계산에 쓰는 옵티마이저 상태를 GPU마다 통째로 두지 않고 나눠 저장한다.
저정밀도 형식인 MXFP8도 지원한다. B300 4개 시험에서 BF16보다 처리량이 약 21% 높았고, 최대 활성 메모리는 103GiB에서 95GiB로 줄었다.
코드는 GitHub의 Olmo-core 저장소에 Apache License 2.0으로 공개돼 있다.
주의할 점: 시스템 측정과 모델 품질의 구분
Ai2는 B300 512개에서 토큰당 58.36B가 활성화되는 1.2조 파라미터 모델을 시험했고, 최고 858 TFLOP/s/GPU를 관측했다. 이 시험은 학습된 모델의 품질이 아니라 시스템 성능을 재려고 무작위 라우팅을 썼다.
DeepEP v2로 도달한 2.38조 파라미터 구성은 전체 학습이 아닌 짧은 용량 시험이었다. Ai2도 이를 지속 학습 성능이 아니라 도달 가능한 규모를 보여 주는 결과로 설명했다.
모든 수치는 Ai2의 측정이며 이 기사에서 재현하지 않았다. Ai2 자신도 통신과 계산을 겹치는 방식이 일부 시험에서 오히려 전체 실행을 느리게 했다고 보고했다.
구현을 평가할 때 함께 볼 지표
직접 평가한다면 목표하는 라우팅, 정밀도, 네트워크로 작은 대표 학습 작업을 구성해 메모리와 유효 처리량을 같이 비교할 수 있다.
용량 수치나 개별 커널 속도만으로는 전체 학습이 실용적인지 판단하기 어렵다.
Olmo-core 3의 조 단위 수치는 공개 학습 기반의 시스템 한계를 보여 주며, 다음 Olmo의 품질은 아직 별개의 문제다.