Genie 4：リアルタイム世界シミュレーション、音声・対話生成

1. シーンと音、対話をともに作る世界

Genie 4は映像を作るだけでなく、環境音や登場人物の発話をシーンと同時に生成する。森の風や海辺の波のように場所に合った音を加え、キャラクターはユーザーの入力や世界内の出来事に反応して対話を続ける。Google DeepMindはこれを、音を標準でリアルタイム生成する世界モデルと紹介した。

ユーザーは標準的なキーボードで移動とカメラを操作し、文章でシーンの変化を指示する。天候を変えたり、新しい人物や物体を登場させたりでき、入力の合間もシーンが続くようモデルが流れを調整する。公開されたプロンプト例は次のとおりだ。

Prompt: A macro close up of a maple seed falling from the tree into the grass

Google DeepMindによると、Gemini Omniは現実世界の外観と振る舞いをシミュレーションの基準とし、ほかのGeminiモデルはシーンの一貫性と連続性を保つ推論を補う。同社が掲げる機能は、リアルタイム操作、物理現象と人の動きのリアルさ、音と対話、複数段階にわたる出来事のシミュレーションだ。

2. 物理現象と人の動きをリアルタイムで操作

同社は、モデルが空気の流れや力を扱う空気力学や衝突などの物理的状況を扱い、環境に反応する人の自然な動きを実現すると説明した。ユーザーはシーンを見ながらカメラを動かしたり、人物や物体を追加したりできる。公開例には、1980年代の日本の混雑した鉄道駅や、木から落ちるカエデの種が含まれている。

複雑な目標を扱う際は、Geminiモデルが操作エージェント、つまり目標を代わりに遂行するソフトウェアとして参加する。同社の説明によると、Gemini 3.8 Flashは生成中のシーンを観察して目標を段階に分け、届く画面を見て各段階の進行を確認する。ユーザーが介入したり世界が変わったりすると、計画もリアルタイムで修正する。

ロボット関連の実験では、Gemini 4 Argonがユーザーの作業指示を段階に分け、テキストの説明としてGenie 4に伝える。Google DeepMindは、ApptronikのApolloヒューマノイドという人に似た形のロボットがチェッカーをするシミュレーションを例示した。これは、ロボットやエージェントが現実に適用される前に、さまざまな状況を練習できる環境を作る方向性と重なる。

3. 創作と開発の初期の試行を素早く

信頼できるテスターには、創作、報道、教育、ゲーム、エンジニアリング分野の参加者が含まれる。映画制作者はシーンのカメラアングルや照明、せりふ、動作を変えて試行でき、報道写真家は記録写真を環境シミュレーションへ拡張する方法を試している。ゲーム開発者は、ゲームの動作の基盤となるエンジンコードを書く前に、アイデアを探索可能な試作品にし、企業パートナーはシナリオ生成に活用する可能性を探っている。

この方式の利点は、シーンの作成と修正の反復を減らし、アイデアを体験可能なシミュレーションへ移せることだ。一方、シミュレーションが長くなったり、プロンプトを複雑に何度も修正したりすると、視覚的な細部や物体の持続性が変わる場合がある。複雑な物理的相互作用、リアルタイム音声の正確さ、読める文字、空間精度、位置や距離の表現の精密さ、時間がたってもシーンが保たれる長期的な一貫性は、なお研究中だ。

4. 信頼できるテスターから始めるプレビュー

Google DeepMindはGenie 4を信頼できるテスター向けの研究プレビューとして公開し、消費者や開発者へ広げる前に意見を集める計画だ。次の利用対象は、Project GenieのGoogle AI Ultra加入者と、Gemini APIおよびGoogle AI Studioの早期アクセスパートナーと案内した。Project Genieのウェイトリストも運用している。

同社は、事前の社内安全評価と、安全ポリシーに沿った保護措置を適用したと述べた。生成されるすべての映像と音声には、AI生成コンテンツの識別を助けるSynthIDウォーターマークという、コンテンツの出所確認に役立つ識別表示を入れる。今後の方向性として、言語モデルとコードの論理的推論に、ピクセル単位のシミュレーションの感覚的表現を組み合わせるハイブリッド世界モデルを示した。

Genie 4の中核的な価値は、映像と音、インタラクションを一度に試せるようにした点にあり、長時間のシミュレーションの一貫性を高めることが次の課題だ。