Cloudflare가 신원을 확인한 봇도 사이트의 지시를 계속 지키는지 평가하는 시스템을 소개했다. 사이트 운영자에게는 인증 여부뿐 아니라 이후의 행동까지 보고 자동 접속을 판단할 근거가 생긴다.

1. 신원 확인과 신뢰 평가는 다르다

인증은 상대가 누구인지 확인하는 일이지, 앞으로도 책임 있게 행동한다는 보증은 아니다. 운전면허가 운전자의 신원과 시험 통과를 증명해도 이후의 안전 운전까지 보장하지 않는 것과 같다. Cloudflare는 신원을 확인한 봇도 사이트의 의사를 무시하거나 서버에 부담을 줄 수 있으며, 원인이 악의가 아니라 설정 실수나 버그일 수도 있다고 설명한다.

인증 봇은 신원을 정확하고 안전하게 밝히고, 밝힌 목적대로만 행동하며, 악용 행위를 하지 않아야 한다.

Web Bot Auth는 요청 서명으로 신원을 확인하고, BotBase는 이를 공개 형식으로 정리한다. 새 평가 시스템은 이렇게 확인한 신원에 이후 행동의 증거를 연결한다.

개별 요청의 위험은 순간마다 달라질 수 있지만 신뢰는 일관된 행동이 쌓여 형성된다. 일회성 위반이 장기 신뢰를 곧바로 결정하지는 않으므로, 개별 요청의 차단 판단과 반복된 행동에 대한 신뢰 평가는 구분해야 한다. Cloudflare는 2025년 Perplexity의 봇이 수집을 거부한 사이트의 자원에 접근하려 하고 차단 뒤에는 통제를 우회하려 했다며 인증 목록에서 제외한 사례를 들었다.

2. 지시 준수와 피드백 반응을 본다

초기 평가 신호는 봇이 지시를 지키는지, 직접적인 피드백에 반응하는지 두 가지다. 관찰 결과는 사이트의 의사를 얼마나 일관되게 존중했는지 나타내는 신뢰 구간으로 바뀐다. 이는 봇이나 운영자에 대한 영구 판정이 아니라, 어떤 행동을 근거로 평가했는지 설명하는 범위다.

사이트 의사를 전달하는 주요 수단은 robots.txt다. 시스템은 실제 트래픽이 그 파일에 게시된 지침을 시간에 걸쳐 따르는지 살핀다. 원문은 봇의 사이트 수집 지침을 정한 표준인 RFC 9309에 맞춰 지침을 확인하고 준수할 것을 기대하며, 일회성 위반보다 지침을 무시하는 반복 패턴에 주목한다고 설명한다.

이 파일은 봇이 하지 말아야 할 최소 규칙이다. 적혀 있지 않은 행동이 곧 허용된다는 뜻은 아니다. 사이트가 다른 신호로 접속을 원치 않는다고 알린다면 봇은 그 신호도 고려해야 한다.

3. 허용된 경로라도 속도 조절은 필요하다

봇은 허용된 경로만 방문하면서도 사이트에 상당한 부하를 줄 수 있다. HTTP 429 응답은 요청 속도를 줄이라는 신호이며, 다시 시도하기까지 기다릴 시간 안내가 붙기도 한다. 따라서 접근 가능한 경로인지와 서버의 속도 조절 요구에 반응하는지는 별개의 평가 대상이다.

시스템은 이 응답 뒤에 봇이 속도를 낮추거나 잠시 멈추는지, 같은 속도로 계속 요청하는지 관찰한다. 일관되게 감속하거나 멈추면 신뢰가 높아지고, 신호를 반복해서 무시하면 낮아진다. 이 행동이 시간에 걸쳐 신뢰 구간에 반영된다.

4. 운영자가 얻는 근거와 맡는 책임

사이트 운영자는 허용한 봇이 실제로 지침을 지키는지 판단할 맥락을 얻고, 봇 운영자는 책임 있는 행동을 입증할 수 있다. 그만큼 봇 운영자에게는 신원 확인을 넘어 지침과 응답 신호에 지속적으로 맞춰 행동할 책임이 강조된다. 고객이 신뢰 기준을 선택하는 기능이 제공되면, 어느 수준의 봇을 어떻게 처리할지 정하는 판단은 사이트 운영자에게 남는다.

현재 고객은 Bot Preference Sync로 게시한 지침을 설정된 정책과 맞추고, Bot Management로 자동화 트래픽의 처리 방식을 정할 수 있다. 새 시스템은 그 사이에서 봇이 지침에 실제로 따르는지 관찰하는 역할을 맡는다.

5. 공개 점수와 고객 기능은 앞으로의 계획이다

Cloudflare는 내부에서 관찰 이력을 쌓고 이를 유용한 안내로 바꾸는 방식을 다듬고 있다. 점수를 Radar에 공개하고 평가 방식을 확장할 예정이며, 전체 고객에게 시스템을 제공해 인증 봇 트래픽 처리에 쓸 신뢰 임계값을 고르게 할 계획이다. 임계값은 처리 판단에 적용할 신뢰 수준의 기준이다.

구체적인 점수 산식, 관찰 기간, 공개 일정은 제시되지 않았다. 따라서 공개된 설명만으로는 봇 간 신뢰 수준의 상대적 우열까지 판단할 수 없다.

이번 변화의 핵심은 인증을 무조건적인 허용 근거로 삼지 않고, 지침 준수와 피드백에 대한 반응을 쌓아 신뢰를 판단하는 데 있다.