Google TPU 8tx・8i Max：機密推論、大規模コンテキスト処理

1. 2システムを追加し、4つの選択肢に

Googleは11月9日の発表で、4月に公開した学習用TPU 8tとリアルタイム推論用TPU 8iに続き、2システムを追加した。同社が1年に4つのTPUシステムを披露するのは初めてだという。新しいチップをそれぞれ設計するのではなく、既存チップのセキュリティ・メモリ・ネットワーク構成を変えて用途を広げた。

第8世代製品群の一部の性能比較は、Googleが公開した仕様表に記載されている。以下の数値は2025年世代のIronwoodと2026年世代のTPU 8tを、複数のチップをまとめたシステム単位であるPodで比較したもので、演算量はFP4（4ビット浮動小数点演算）基準だ。

表：TPU 8tとIronwoodの仕様

条件：Googleの学習用システムの仕様比較。Ironwood（2025）とTPU 8t（2026）のPod構成が基準で、演算量はFP4、帯域幅はチップ当たりの数値。

表の数値から計算すると、Pod当たりのチップ数は約4.2%増える一方、FP4演算量は約2.85倍、チップ当たりの双方向スケールアップ帯域幅は2倍、スケールアウトネットワーク帯域幅は4倍となる。チップ数の拡大よりも演算量と通信帯域幅の強化に重点を置いた構成だ。同社の発表では、8tのPod当たりの演算性能は前世代のほぼ3倍となる。

チャート：Ironwoodに対するTPU 8tの仕様倍率 条件：上の表のTPU 8tの数値を、各項目のIronwoodの数値で割った。小数の倍率は四捨五入した概算値で、棒の長さは倍率に比例する。単位：Ironwoodの各項目 = 1

Ironwood 各項目基準                           ████             1
TPU 8t Pod当たりチップ数                      ████▏            約1.04
TPU 8t Pod当たりFP4演算量                     ███████████▍     約2.85
TPU 8t チップ当たり双方向スケールアップ帯域幅 ████████         2
TPU 8t チップ当たりスケールアウト帯域幅       ████████████████ 4

Googleは別途、11月の発表で、前世代と比べて8tの学習性能が最大2.7倍となり、8iの推論の価格性能比は80%向上したと述べた。学習処理能力と推論のコスト効率をそれぞれ狙った改善だ。

2. 8txは処理中のデータまでハードウェアで保護

保存中やネットワークで転送中のデータとは異なり、処理中のデータはメモリ上で復号する必要がある。8txは、この処理段階でも機密データとモデルの重みをハードウェア層で保護・隔離する設計だ。Googleは、規制産業の企業や政府、独自モデルや自律エージェントを機密データとともに運用する利用者を対象として挙げた。

基盤は学習用システムと同じシリコンで、ホストには第5世代AMD EPYCを使う。これに、リアルタイム推論用に開発した低遅延のBoardflyネットワークを組み合わせた。

同社の発表によると、8txの遅延は8tの最大2分の1で、セキュリティに伴う性能低下はほぼない。学習向けの演算能力と高速な推論ネットワークを併せ持ち、小規模な学習にも適するという。

Googleは、社内データを別のクラスタに移さずに、モデルのファインチューニング（特定のタスクに合わせた追加学習）、蒸留（大きなモデルの知識を小さなモデルに移す学習）、強化学習（行動の結果に報酬を反映する学習）を実行できると説明した。機密データの移動を減らしながら、モデル運用とカスタマイズ学習を1つのシステムで続ける方式だ。

3. 8i Maxはメモリのボトルネックとラック密度に対応

複数のエージェントがコード全体や長時間の動画のような長い入力を扱うほど、演算器へのデータ供給速度がボトルネックになり得る。8i Maxは、低遅延の8iチップ2個を1つのパッケージに組み合わせ、演算能力とメモリをともに増やした。

表：基本TPU 8iに対するTPU 8i Maxの構成拡大

条件：Googleの発表に基づく。TPU 8iチップ2個を1つのパッケージに組み合わせたTPU 8i Maxと、基本TPU 8iの仕様比較。

単位：基本TPU 8iに対する倍率

同社の発表では、3項目がそろって2倍になる。演算能力だけを増やすのではなく、必要なデータを近くに置いて素早く供給し、長いコンテキストを処理する際の待ち時間を減らす設計だ。

基本8iは288GBの高帯域幅メモリと、チップ内部の高速な作業メモリであるSRAM 384MBを備える。Googleによると、SRAM容量は前世代の3倍だ。

Googleは、Boardflyがチップ間通信の最大経由段数を50%超削減すると述べた。また、複数チップのデータを集めたり分けたりする通信処理である集団演算を高速化するチップ内部エンジンは、オンチップ遅延を最大5分の1にするという。複数チップがデータをやり取りする際の待ち時間の削減に重点を置いた。

4. ソフトウェアで導入の障壁とアイドル時のコストを下げる

Googleはソフトウェア対応の発表で、PyTorchコードを書き直さずにTPUで実行できるよう、TorchTPUをオープンソースとして公開したと述べた。既存の開発手法を維持したままアクセラレータを変更できるよう、導入の障壁を下げる措置だ。

Agent Compute Engineは、エージェントが外部ツールや人の応答を待つ間、セッションを停止して作業メモリをチップ外に移す。演算していない時間にリソースが占有されるコストを減らす機能だ。

TPU Syncは、チップ・ホストのメモリ、共有ストレージ、ネットワークを1つのメモリ階層として扱う。Googleは、以前に処理したコンテキストの計算結果を保持する大規模なキー・バリューキャッシュの移動と、強化学習の重みの同期を支援し、キャッシュ転送遅延と最初のトークンまでの時間を90%超削減したと発表した。

Google CloudのKubernetes管理サービスであるGKEの動的分割は、処理規模に合わせてリソース群を分割する機能で、タスクに応じてTPU群を大きくまとめたり小さく分けたりする。同社の発表では、タスク開始は最大5倍、障害復旧は最大4.5倍速くなった。

利点と代償は、システム構成にともに組み込まれている。8i Maxは同じラック面積でより多くの演算を提供するが、その密度はシリコンを2倍配置することで得られる。メモリ帯域幅とデータ移動管理も併せて拡張してこそ、演算リソースの待ち時間を減らせるというのが今回の設計の核心だ。

第8世代TPUの拡充は、チップの性能競争を超え、セキュリティとコンテキスト規模に合わせてデータセンターシステムを選ぶ方向につながる。