ByteDanceの研究者らが開発した科学推論モデルを、コミュニティが再現して公開した。開発者は検索とコード実行を活用するモデルをダウンロードして試し、併せて公開された資料からデータ構成や学習過程を確認できる。
1. 公開対象はQwenベースのコミュニティ再現版
Hugging Faceで配布されたAxion 1.0-35Bは、コミュニティによる再現版の重みだ。研究者のリポジトリは論文モデルのベースをQwen3.6-35B-A3Bと説明し、再現版を案内している。既存のベースモデルを追加学習し、科学推論とツール活用能力を磨く方式だ。
モデルカードによると、モデルが回答するよう学習された内部の数値である総パラメータ数は約350億個で、処理中に約30億個が活性化される。複数の専門家から一部を選んで計算する混合エキスパート構造で、複数の計算経路の一部を選んで使う仕組みだ。重みはBF16形式で提供され、Apache 2.0ライセンスが表示されている。
2. 解法の学習から検索と対話へ拡張
論文の学習法は、正解の解法を示す教師ありファインチューニングを2段階行い、ツールを使って報酬を得る強化学習を行う構成だ。前者は正解例でモデルを追加訓練する過程、後者は行動結果の報酬に基づく学習法を指す。まず問題内の情報で科学・数学の問題を解く方法を習得し、次に検索で不足情報を探して計算する方法を学ぶ。最後に検索・ページ閲覧・学術検索・Python実行を活用して回答を完成させる過程を学習する。
データ構築では、ベースモデルがすでに解ける問題をより難しく書き換え、推論を訓練する。ツール活用問題は公開データから対象を選び、答えを計算してから質問に変える。出題側が先に答えを確保するため、検索と計算を経た解法が正しいか確認できる。
3. 同じ評価で追跡した学習段階ごとの変化
論文は同じベースモデルの学習段階ごとの結果を示している。以下は、分野を横断する高難度問題の評価「人類最後の試験」のテキスト専用130問の結果だ。研究者の発表に基づき、3回の実行結果から最も高い単一実行スコアを用いている。
Qwen3.6-35B-A3Bベース、HLE-130のテキスト専用130問、検索・ページ閲覧・学術検索・Pythonに対応する環境と評価ごとの制限を適用、3回の実行中の最高単一実行スコア
| 学習段階 | スコア |
|---|---|
| ベースモデル | 47.7 |
| 教師ありファインチューニング第1段階後 | 59.2 |
| 教師ありファインチューニング第2段階後 | 66.2 |
| 強化学習後 | 70.0 |
この評価では、教師ありファインチューニングの2段階でスコアが大きく上がり、強化学習がさらなる上昇に寄与した。研究型の科学問題を解くFrontierScience評価では、強化学習の前後でスコアが58.3%から56.7%に下がり、学習の効果が課題によって異なる様子も見られた。
人類最後の試験の全体では、研究者の発表によると、一部ウェブサイトへのアクセスを制限した場合は52.2%、制限を解除した場合は59.1%だった。モデルカードが示す再現版の全体試験スコアは52.8%、情報探索評価のSEAL-0スコアは60.4%だ。
再現版のカードには独自の測定条件が記されておらず、論文結果との直接的な優劣比較には制約がある。評価案内も、今回のリリースではGPUサービングと論文のベンチマーク結果を再検証していないと明記している。
4. モデル実行とツール接続を分けて準備
モデルカードは、モデルへのリクエストに応答を返す運用であるvLLMサービングと、OpenAI互換リクエストの例を提供している。
以下のコマンドはカード原文に掲載された実行例で、GPU 8基、BF16、最大長131,072の設定を使う。
vllm serve Axion1-0/Axion-1.0-35B \
--served-model-name axion-35b \
--host 127.0.0.1 --port 8000 \
--tensor-parallel-size 8 --dtype bfloat16 \
--max-model-len 131072 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice --tool-call-parser qwen3_coderモデルカードは、GPUメモリに合わせて並列処理サイズとコンテキスト容量を調整するよう案内している。前者は計算を分割して同時処理するデバイス数、後者はモデルが一度に参照できる入力範囲を指す。開発者はモデルを起動後、OpenAI互換APIでリクエストを送れる。
検索を活用する評価には、モデルのツール呼び出しを実際の作業につなぐ外部実行器が必要だ。これはツールの作業を実行する接続プログラムで、検索サービス、ページ閲覧、隔離されたコード実行環境を接続し、ツールの実行結果を次のモデルリクエストに返す。リポジトリの評価コードは、外部実行器が収集した解法を採点する方式だ。
5. 公開資料は実験を助けるが機器の負担は残る
データ生成・フィルタリング・検証とプロンプト、学習コード、評価準備資料が公開され、開発者はモデルが学んだ問題と正解の確認方法を追跡できる。完成した重みを試すだけでなく、学習手順を変えたり評価の流れを再利用したりしやすくなる。
その代わり、再学習用の機器とツールサービスの運用負担は利用者に残る。論文は、35Bの2段階の教師ありファインチューニングに128KコンテキストとGPU 32基を使用し、合計約90 GPU時間とGPU当たり最大101GiBのメモリを要したと報告している。公開コードは実験の出発点を提供するが、実際の実施には相当な計算資源が必要だ。
Axion 1.0-35Bの活用価値は、スコア表の順位よりも、公開された学習法を変更して再現版の重みで試せる点にある。