Cloudflareの認証済みボット：継続的な行動検証、顧客ごとの信頼基準

1. 身元確認と信頼評価は異なる

認証は相手が誰かを確認するもので、今後も責任ある行動を取る保証ではない。運転免許が運転者の身元と試験合格を証明しても、その後の安全運転までは保証しないのと同じだ。Cloudflareは、身元を確認したボットもサイトの意思を無視したり、サーバーに負荷をかけたりする場合があり、原因は悪意ではなく設定ミスやバグの可能性もあると説明する。

認証済みボットは身元を正確かつ安全に明かし、明示した目的に沿ってのみ行動し、不正行為をしないことが求められる。

Web Bot Authはリクエストへの署名で身元を確認し、BotBaseはそれを公開形式で整理する。新しい評価システムは、こうして確認した身元に、その後の行動の証拠を結び付ける。

個々のリクエストのリスクは刻々と変わり得るが、信頼は一貫した行動の蓄積によって形成される。一度の違反が長期的な信頼を直ちに決めるわけではないため、個別リクエストのブロック判断と、繰り返される行動の信頼評価は区別すべきだ。Cloudflareは、2025年にPerplexityのボットが収集を拒んだサイトのリソースにアクセスを試み、ブロック後は制御を回避しようとしたとして、認証リストから除外した事例を挙げた。

2. 指示の順守とフィードバックへの反応を見る

初期の評価シグナルは、ボットが指示を守るか、直接的なフィードバックに反応するかの2つだ。観察結果は、サイトの意思をどれほど一貫して尊重したかを示す信頼帯に変換される。これはボットや運営者に対する永久的な判定ではなく、どの行動を根拠に評価したかを説明する区分だ。

サイトの意思を伝える主な手段はrobots.txtだ。システムは、実際のトラフィックがそのファイルに掲載された指針に継続的に従うかを調べる。原文では、ボットによるサイト収集の指針を定める標準RFC 9309に沿って指針を確認し順守することを期待し、一度の違反よりも指針を無視する反復パターンに注目すると説明している。

このファイルは、ボットがしてはならないことを示す最低限のルールだ。書かれていない行動が直ちに許可されるという意味ではない。サイトが別のシグナルでアクセスを望まないと伝えるなら、ボットはそれも考慮する必要がある。

3. 許可されたパスでも速度調整は必要だ

ボットは許可されたパスだけを訪問していても、サイトに大きな負荷をかけ得る。HTTP 429レスポンスはリクエストの速度を下げるよう求めるシグナルで、再試行までの待機時間が案内されることもある。したがって、アクセス可能なパスかどうかと、サーバーの速度調整要求に反応するかは別々の評価対象だ。

システムは、このレスポンスの後にボットが速度を下げたり一時停止したりするか、同じ速度でリクエストを続けるかを観察する。一貫して減速や停止をすれば信頼が高まり、シグナルを繰り返し無視すれば低下する。この行動が時間とともに信頼帯に反映される。

4. 運営者が得る判断材料と担う責任

サイト運営者は、許可したボットが実際に指針を守るか判断するための情報を得られ、ボット運営者は責任ある行動を証明できる。それだけに、ボット運営者には身元確認にとどまらず、指針や応答シグナルに継続的に合わせて行動する責任が強調される。顧客が信頼基準を選択する機能が提供されても、どの水準のボットをどう扱うかの判断はサイト運営者に委ねられる。

現在、顧客はBot Preference Syncで公開した指針を設定済みポリシーと一致させ、Bot Managementで自動化トラフィックの処理方法を決められる。新システムは、その間でボットが実際に指針に従うかを観察する役割を担う。

5. スコア公開と顧客向け機能は今後の計画だ

Cloudflareは内部で観察履歴を蓄積し、それを有用な案内に変える方法を磨いている。スコアをRadarで公開し、評価方法を拡張する予定で、全顧客にシステムを提供し、認証済みボットのトラフィック処理に使う信頼のしきい値を選べるようにする計画だ。しきい値とは、処理の判断に適用する信頼水準の基準を指す。

具体的なスコア算出式、観察期間、公開日程は示されていない。そのため、公開された説明だけでは、ボット間の信頼水準の相対的な優劣までは判断できない。

今回の変化の核心は、認証を無条件の許可の根拠にせず、指針の順守とフィードバックへの反応を積み重ねて信頼を判断することにある。