Cloudflare and OpenAI: 페이지 발견 확대, 검색 크롤링 효율화 실험

1. 수억 개 페이지를 새로 발견한 실험

두 회사는 2026년 7월 연구 시범 사업을 시작했고, 같은 해 10월 15일 초기 결과를 공개했다. 클라우드플레어에 따르면 전체 네트워크의 약 1%에 해당하는 참여 집단을 대상으로 진행한 실험에서 오픈AI가 기존에 알지 못했던 수억 개 웹페이지를 발견해 검색 색인에 추가했다. 색인은 검색에 활용할 페이지를 모아 둔 목록이다.

클라우드플레어는 페이지 발견에 도움이 되는 신호를 제공하고, 오픈AI는 페이지의 관련성과 유용성을 독립적으로 평가해 순위를 정한다. 네트워크가 후보 주소를 알려 주는 역할이라면, 검색 결과에 어떻게 보여 줄지는 오픈AI가 판단하는 구조다. ChatGPT Search의 출처 링크는 이용자가 원문과 해당 사이트를 찾아갈 통로가 된다.

2. 주소보다 페이지의 상태를 본다

주소가 있다고 유용한 페이지가 있는 것은 아니다. 원문은 봇이 없는 파일을 반복 요청하거나, 사이트가 거의 모든 주소를 첫 화면으로 돌려보내거나, 여러 주소가 같은 내용을 가리키는 사례를 들었다. 이런 패턴을 알아내면 크롤러가 내용을 내려받기 전에 불필요한 방문을 줄일 수 있다. 크롤러는 웹페이지를 자동으로 방문해 수집하는 프로그램이다.

변경 신호는 페이지를 다시 방문할 가치가 있는지 판단하도록 돕는다. 이를테면 내용이 그대로인 페이지를 거듭 내려받는 대신, 변화가 생긴 페이지에 수집 자원을 쓰도록 돕는 방식이다.

유해할 가능성이 있는 페이지를 표시하는 신호도 시험 중이다. 정상 사이트에 공격자가 가짜 로그인 화면 하나를 심었다면 사이트 전체가 아니라 해당 페이지만 표시하는 접근이다. 초기 결과는 이런 신호가 색인에서 제외해야 할 페이지를 식별하는 데 도움이 될 수 있음을 시사한다.

3. 발견 확대의 이익과 수집 부담

새 페이지를 발견하면 평가하고 색인에 넣는 과정에서 초기 크롤링량이 늘어날 수 있다. 반면 변경되지 않은 페이지의 반복 수집을 줄이면 사이트의 불필요한 부하를 낮추고, 오픈AI의 검색 자원을 유용한 정보에 집중할 수 있다. 이 실험의 목표는 더 넓은 발견과 더 적은 낭비를 함께 달성하는 것이지, 수집량을 무조건 줄이는 것이 아니다.

발견한 페이지 규모와 별개로, 크롤링량이나 서버 부하가 얼마나 줄었는지를 보여 주는 정량 결과는 제시되지 않았다. 따라서 수억 개라는 발견 성과를 곧바로 운영 비용 절감의 증거로 해석해서는 안 된다.

4. 운영자의 선택과 남은 검증

사이트 운영자는 AI Crawl Control을 통해 인공지능 시스템의 사이트 접근을 파악하고 관리할 수 있다. 다만 원문에는 이번 시범 사업의 참여 신청 방법, 구체적인 설정 절차나 코드 예시가 제시되지 않았다. 발표는 콘텐츠를 인공지능에 제공하기로 선택한 운영자의 발견 기회를 개선한다는 취지다.

페이지에 관한 신호가 있다고 접근 권한까지 생기는 것은 아니다. 이번 연구는 모델 학습용으로 페이지 본문을 공유하는 방식이 아니라, 검색과 발견을 위해 웹의 메타데이터를 사용하는 방식이다. 메타데이터는 페이지 내용 자체와 구별되는, 페이지에 관한 정보다.

다음 단계에서는 페이지 선택을 개선하고, 더 빠르고 신뢰할 수 있는 변경 신호를 시험하며, 콘텐츠가 발견된 뒤의 결과를 측정할 계획이다. 발견 확대가 실제 사업 성과로 어떻게 이어지는지도 두 회사가 계속 살펴볼 과제다.

이번 초기 성과는 검색 출처를 넓힐 가능성을 보여 주지만, 운영상의 가치는 접근 권한을 지키면서 불필요한 수집 부담을 얼마나 줄이느냐에 달려 있다.