Edge0 v0.2.0：エンジン統合、単一GPUでの大規模モデル実行

1. コマンドライン・サーバー・対話アプリを一つのエンジンに

新エンジンedge0-inferは、Pythonフレームワークとプラットフォーム別のアプリ四つを置き換える。コマンドラインツール、ローカルサーバー、デスクトップ対話アプリが一つの実行基盤を共有する構造だ。ユーザーはターミナルから直接実行したり、アプリで対話したりと、作業方法に合わせて利用できる。

内部実装はC++と、モデル推論用の演算ライブラリであるGGMLを基盤とし、デバイス内でモデルを実行する共通APIを提供する。統合の焦点は利用画面を一つに限定することではなく、複数の利用経路を同じエンジン上に集約することにある。

コマンドラインツールには、モデル実行、対話、性能測定、サーバー起動、情報確認の機能が含まれる。今回の統合エンジンがサポートする既存モデルはEdge0 35Bで、Edge0 8Bのサポートは今後のリリースで予定されている。

2. 145B・120Bモデル、単一NVIDIA GPU構成

新モデルEdge0 145BとEdge0 120Bは、同社の発表によるとNVIDIA GPU 1枚で実行できる。大規模モデルをローカルで利用したいユーザーに向けて示された構成だ。

両大規模モデルの実行はedge0-strataが担う。統合エンジンが既存モデルとアプリをまとめる変更であるのに対し、この実行プログラムは新しい大規模モデルを動かす経路となる。モデルを選ぶ際は、モデル名だけでなく、どの実行プログラムを使うかも確認する必要がある。

リリースページは両モデルについて、NVFP4とq3kの重み形式のダウンロードリンクをそれぞれ提供している。配布プログラムを選ぶ段階と、実行するモデルの重みを用意する段階が分かれた構成だ。

3. 既存APIクライアントとローカルサーバーの接続

ローカルサーバーは既存のOpenAI互換インターフェースに加え、Anthropic Messages API形式のリクエストも処理する。対応する経路はメッセージリクエストとトークン数計算リクエストで、リリースノートはこの機能をネイティブモデル向けと明記している。Anthropic形式のクライアントをローカルモデルに接続したい開発者は、この経路を利用できる。

ローカルネットワーク認証は、x-api-keyヘッダーを受け付けるように変更された。開発者はこのヘッダーで認証キーを渡す方式でサーバーに接続できる。リクエスト形式への対応と認証経路が同時に追加された点が、クライアント接続時の変更となる。

4. Windowsパッケージを選んでからモデルを準備

配布パッケージはx64とArm64の二種類だ。インストールとトラブルシューティングの案内は、各パッケージ内の説明書で確認できる。まず自分のデバイスに合うパッケージを選び、使用するモデルに応じて実行条件を確認する流れとなる。

既存モデルのEdge0 35Bは、CPUでの実行、またはグラフィックス・計算処理用の標準インターフェースであるVulkanを通じたGPU実行をサポートする。

x64パッケージでCPU実行する場合は、CPUの並列演算を支援する命令セットであるAVX2への対応が必要だ。既存モデルを使う場合と新しい大規模モデルを使う場合の準備条件は、別々に確認できる。

大規模モデルのx64実行には、CUDA機能の対応等級であるコンピュート能力7.5以上のNVIDIA GPUが必要だ。リリースノートはRTX 20・30・40・50シリーズを例に挙げる。GPUメモリは16 GiB以上、システムメモリは20 GiB以上が必要で、NVIDIA CUDA Toolkit 13をインストールしなければならない。

Arm64で大規模モデルを実行する場合は、コンピュート能力12.1のGPUが必要で、例としてNVIDIA RTX Spark N1Xが挙げられている。

メモリの下限は前述の構成と同じで、ツールキットはWindows Arm64向けのCUDA Toolkit 13をインストールする必要がある。このパッケージのCUDAコードは、当該GPUアーキテクチャ向けにのみビルドされている。

利点は複数の利用経路を一つのエンジンにまとめ、大規模モデル用の実行経路も提供する点であり、ユーザーが用意するのはモデルの重みと実行環境だ。今回の配布はWindows専用で、重みはパッケージに含まれず、大規模モデルには前述のハードウェアとツールのインストール条件が付く。

Edge0 v0.2.0の要点は、既存アプリの実行基盤の統合と、大規模モデル用の実行経路の追加を同時に提供することにある。