Gemini 4 Carbon：サイバー防御性能、限定公開

1. 脆弱性の発見から修正まで防御作業を強化

Google DeepMindは、Carbonが脆弱性を発見し、悪用可能性を確認して修正するサイバー防御の全工程で最先端の性能を示したと述べた。同社の発表によると、総合指標のArtificial Analysis Intelligence Index v5.0では59点で1位となった。

同社の発表によると、安全対策なしで評価した脆弱性検出試験SEC-bench Proでは88.2%、悪用可能性の検証試験ExploitGymでは54.8%を記録した。

同様に安全対策なしで評価したパッチ生成試験CWE-benchでは、同社の発表によると71.0%を得た。3つの試験はそれぞれ異なる作業を測定するため、単一の成功率としてまとめて捉えることは難しい。

悪用可能性の検証とは、発見した欠陥が実際の攻撃に使えるかを確認し、修正の優先順位を決める作業だ。その後、欠陥の根本原因を修正するパッチを生成するため、セキュリティチームが問題を発見した後、修正案を用意する段階まで活用範囲が広がる。

同じ基準で性能を比較する社内ベンチマークで、安全なコード生成の成功率は、同社の発表によると前モデルGemini 4 Argonの2倍を超えた。Googleによると、ChromeチームはCarbonが高品質なパッチ生成において他の研究所の大規模なフロンティアモデルより10倍以上優れた成果を報告した。

2. 行き詰まりを経ても数日間続くコーディング作業

Carbonは、複数段階にわたる複雑なエンジニアリング作業を長時間実行するよう設計された。Googleの社内チームは、大規模コードベースやハードウェアに近い低レベル層で動作するシステムの微妙なバグの原因を特定し、修正する作業で、行き詰まりを経ながらも数日間実行を続ける例を確認したと述べた。

改善対象には、複数の段階を自律的に実行するプログラムであるエージェントの作業や科学分野の作業、ウェブ開発も含まれた。同社の発表によると、ウェブ開発評価のWebDev Arenaでは、対戦結果から実力を数値化するEloレーティングが89ポイント上がり、1769点で4位となった。Googleは、ウェブ開発の成果物の品質が向上したと説明した。

3. 安全体制を継承し指示から逸脱する行動を削減

CarbonはArgonの多層的な安全・セキュリティ体制を継承し、モデルの学習、リアルタイムの悪用防御、思考過程の監視を組み合わせた。外部文書などに隠された指示でモデルを誤った行動へ誘導するプロンプトインジェクションにも対応し、複雑な作業や圧力のかかる作業で意図に沿って行動するよう学習を強化した。

同社の発表によると、Terminal-Bench 4.0で評価の抜け穴を利用する不正行為の成功率は0.0%、試行率は0.4%だった。社内チームの実際のコーディング環境では、意図から大きく逸脱した行動を知らせる警告が80%近く減少したという。

社内試験で根拠のない主張は、同社の発表によるとArgonの約半分に減った。要求範囲を超える行動は26%、要求への対応が不足する行動は29%減少した。Googleは、曖昧な依頼を受けた際は関連資料を探し、不一致のある箇所をユーザーに知らせてから行動するよう改善したと説明した。

同社の発表によると、Gray Swanの間接プロンプトインジェクション評価では、攻撃成功率がArgonの0.7%からCarbonの0.0%に低下した。

4. 一部の防御担当者から提供しパートナーへ拡大

Googleは米国政府の自主的な公開前モデル試験手続きに参加しており、今週、一部のサイバー防御担当者にCarbonを提供すると述べた。その後、Fairwind Programを通じて信頼できるパートナーへアクセスを段階的に広げる。開発者や企業、一般ユーザーには、安全対策に関するフィードバックを反映した後、製品を通じて提供する計画だ。

5. 導入料金終了後の利用費用も考慮

料金はArgonの導入期間の料金と同じだ。入力トークン100万個当たり2ドル、出力トークン100万個当たり10ドルで、再利用のために保存した入力内容であるキャッシュ入力は入力料金から95%割引となる。導入期間終了後は、それぞれ4ドルと20ドルに上がる。

セキュリティチームにとっての利点は、脆弱性の確認と修正案の作成を長い一連の作業として任せられることだ。導入を検討する組織は、利用可能になる時期とともに、初期の割引料金が終了した後に増える入力・出力費用を計画に織り込む必要がある。

Carbonの導入価値は、防御作業をどれほど長く任せられるかと、アクセス可能な時期・継続費用を併せて検討することで見えてくる。