Ollama 0.40.12-rc0：DFlash2対応、MLX画像処理の改善

1. ドラフトを先に作り回答生成を高速化

10月27日に公開された0.40.12-rc0にはDFlash2対応が加わった。複数トークンのドラフトを先に作り、モデルが検証することで回答生成を高速化する方式だ。

今回の対応は、Appleシリコンのモデル演算基盤であるMLXの実行経路に追加された。各ラウンドで7トークンのドラフトを作り、既存の状態復元経路で検証する。

変更リクエストの作成者は、数値を4ビット浮動小数点で表すNVFP4形式のqwen3.8:27bモデルで性能を測定した。両方式は同じビルドとセッションで実行した。

比較対象のMTPはモデルに組み込まれた予測機能だ。以下はM5 Maxで2K入力のリクエスト16件を測定した中央値で、作成者が公開した入力処理量と生成処理量を別々の列に示した。

表：M5 Maxでのドラフト生成方式別の処理量

条件：M5 Max、qwen3.8:27b (NVFP4)、2K入力、リクエスト16件の中央値、temperature 1、top_p 0.95、top_k 20、thinking on、同一ビルド・セッション

単位：トークン/秒

この条件では、入力処理量より生成処理量の変化が目立った。同じモデルと機器による32K入力の測定でも、生成処理量は54.0から63.2に増えた。この結果は、その他の設定が同じでリクエスト数が12件の測定の中央値だ。

2. 長い入力を読み込む段階も改善

MLXとその接続層を更新した変更は、モデルが最初に入力を読み込むプリフィル段階を対象とした。一度に参照する入力範囲を指定する演算機能を活用し、Gemma 4、Flint、Laguna系モデルの処理量を高めた。

変更リクエストの作成者が公開したApple M5 Maxでの測定では、Lagunaモデルの2048トークン入力の処理量は以下のように変化した。改善率も原文に示された値だ。

表：Lagunaモデルの2048トークン入力の処理量の変化

条件：Apple M5 Max、laguna-xs.2:nvfp4、2048トークン入力、MLX・MLX-C更新前後のプリフィル処理量

同じ機器とモデルの6144トークン入力では、処理量が毎秒4289トークンから5448トークンに増え、作成者が示した改善率は27.0%だ。入力の読み込み時間が長い作業で参考になる結果であり、この変更の測定では回答を生成するデコード速度は変わらなかった。

3. 小さな画像の細部を保持する代わりにトークン使用量が増加

Gemma 4で画像を処理する小型の構成要素であるコンパクトビジョンタワーも修正された。画像サイズを自動調整する際に最小のグリッドを切り捨てると、想定した70トークンの予算より割り当てが少なくなり、小さな画像の細部が失われる可能性があったためだ。

今回の変更では、そのグリッドを切り上げつつ、次の対応予算を超えないようにする。画像をモデルが読み取る小さな区画に分ける際、区画数を少し増やして細部が失われる問題を減らす方式だ。

細部を保持する利点には、画像入力に使うトークンが増える可能性というコストが伴う。予算を明示した入力と、より大きなビジョンタワーおよび統合タワーでは、従来のサイズ調整方式を維持する。

4. テストモデルで生成経路を確認

DFlash2の変更リクエストの作成者は、自身の名前でテスト用モデルを公開した。原文に示されたダウンロードコマンドは次のとおりだ。

ollama pull dhiltgen/qwen3.8:27b-dflash2-nvfp4

今回のOllamaリリース候補版は、回答生成、長い入力の読み込み、小さな画像の細部保持をそれぞれ改善しており、作業のボトルネックに応じて評価する理由となる。