Cloudflare and OpenAI：ページ発見の拡大、検索クロール効率化の実験

1. 数億のページを新たに発見した実験

両社は2026年7月に研究の試験事業を開始し、同年10月15日に初期結果を公開した。クラウドフレアによると、ネットワーク全体の約1%に相当する参加集団を対象とした実験で、OpenAIがそれまで把握していなかった数億のウェブページを発見し、検索インデックスに追加した。インデックスとは、検索に利用するページを集めた一覧である。

クラウドフレアはページの発見に役立つ信号を提供し、OpenAIはページの関連性と有用性を独自に評価して順位を決める。ネットワークが候補のアドレスを知らせる役割を担い、検索結果での表示方法はOpenAIが判断する仕組みだ。ChatGPT Searchの出典リンクは、利用者が原文やそのサイトを訪れる経路となる。

2. アドレスよりもページの状態を見る

アドレスがあるからといって、有用なページがあるとは限らない。原文では、ボットが存在しないファイルを繰り返し要求する例や、サイトがほぼすべてのアドレスをトップページに転送する例、複数のアドレスが同じ内容を指す例を挙げた。こうしたパターンを把握すれば、クローラーが内容をダウンロードする前に不要な訪問を減らせる。クローラーとは、ウェブページを自動で訪問して収集するプログラムである。

変更信号は、ページを再訪する価値があるかどうかの判断を助ける。例えば、内容が変わらないページを繰り返しダウンロードする代わりに、変更が生じたページに収集資源を使えるよう支援する仕組みだ。

有害な可能性のあるページを示す信号も試験中だ。正常なサイトに攻撃者が偽のログイン画面を一つ埋め込んだ場合、サイト全体ではなく該当ページだけを示すアプローチである。初期結果は、こうした信号がインデックスから除外すべきページの特定に役立つ可能性を示唆している。

3. 発見拡大の利点と収集の負担

新たなページを発見すると、評価してインデックスに登録する過程で初期のクロール量が増える可能性がある。一方、変更のないページの反復収集を減らせば、サイトの不要な負荷を軽減し、OpenAIの検索資源を有用な情報に集中できる。この実験の目標は、発見の拡大と無駄の削減を両立させることであり、収集量を無条件に減らすことではない。

発見したページの規模とは別に、クロール量やサーバー負荷がどれだけ減ったかを示す定量的な結果は提示されていない。したがって、数億という発見の成果を、そのまま運用コスト削減の証拠と解釈すべきではない。

4. 運営者の選択と残る検証

サイト運営者はAI Crawl Controlを通じて、AIシステムによるサイトへのアクセスを把握し、管理できる。ただし原文には、今回の試験事業への参加申請方法や具体的な設定手順、コード例は示されていない。発表の趣旨は、コンテンツをAIに提供することを選んだ運営者の発見機会を改善することにある。

ページに関する信号があっても、アクセス権限まで得られるわけではない。今回の研究は、モデル学習用にページ本文を共有する方式ではなく、検索と発見のためにウェブのメタデータを使う方式である。メタデータとは、ページの内容そのものとは区別される、ページに関する情報だ。

次の段階では、ページの選択を改善し、より迅速で信頼性の高い変更信号を試験するとともに、コンテンツが発見された後の結果を測定する計画だ。発見の拡大が実際の事業成果にどうつながるかも、両社が引き続き検討すべき課題である。

今回の初期成果は検索の情報源を広げる可能性を示すが、運用上の価値は、アクセス権限を守りながら不要な収集の負担をどれだけ減らせるかにかかっている。