Cloudflare and OpenAI：扩大页面发现，探索提高搜索抓取效率

1. 发现数亿个新页面的实验

两家公司于2026年7月启动研究试点项目，并于同年10月15日公布初步结果。据Cloudflare介绍，该实验面向约占其整个网络1%的参与群体，发现了数亿个OpenAI此前未知的网页，并将其加入搜索索引。索引是汇集可用于搜索的页面的列表。

Cloudflare提供有助于发现页面的信号，OpenAI则独立评估页面的相关性和实用性，并确定排名。如果说网络负责提供候选地址，那么如何在搜索结果中展示这些页面，则由OpenAI判断。ChatGPT Search的来源链接为用户访问原文及相应网站提供了入口。

2. 关注页面状态，而不只是地址

有地址并不意味着存在有用的页面。原文列举了机器人反复请求不存在的文件、网站将几乎所有地址重定向至首页，以及多个地址指向相同内容等情况。识别这些模式后，爬虫就能在下载内容之前减少不必要的访问。爬虫是自动访问并抓取网页的程序。

变化信号有助于判断页面是否值得再次访问。例如，不再反复下载内容未变的页面，而是将抓取资源用于发生变化的页面。

双方也在测试标记潜在有害页面的信号。如果攻击者在正常网站中植入了一个虚假登录页面，这种方法会仅标记该页面，而非整个网站。初步结果表明，这类信号可能有助于识别应从索引中排除的页面。

3. 扩大页面发现的收益与抓取负担

发现新页面后，评估并将其加入索引的过程可能会增加初期抓取量。另一方面，减少对未变化页面的重复抓取，可以降低网站不必要的负载，并让OpenAI的搜索资源集中于有用的信息。这项实验的目标是同时扩大页面发现范围并减少浪费，而不是一味减少抓取量。

除了已发现页面的规模，双方尚未提供抓取量或服务器负载减少幅度的量化结果。因此，不应将发现数亿个页面的成果直接视为运营成本降低的证据。

4. 运营者的选择与待验证事项

网站运营者可以通过AI Crawl Control了解并管理人工智能系统对网站的访问。不过，原文并未提供此次试点项目的报名方法、具体设置步骤或代码示例。此次公告旨在为选择向人工智能提供内容的运营者改善内容被发现的机会。

拥有页面相关信号，并不意味着获得了访问权限。这项研究并非为模型训练共享页面正文，而是利用网页元数据进行搜索和页面发现。元数据是关于页面的信息，与页面内容本身不同。

下一阶段计划改进页面选择，测试更快速、更可靠的变化信号，并衡量内容被发现后的结果。扩大页面发现范围如何转化为实际业务成效，也是两家公司需要继续研究的课题。

此次初步成果显示出扩大搜索来源范围的潜力，但其运营价值取决于能否在遵守访问权限的同时，减少不必要的抓取负担。