봇·크롤러를 안전하게 식별하는 법

검색엔진 봇, 소셜 미리보기 봇, AI 크롤러는 대부분 자신을 밝히는 User-Agent를 사용합니다. 예를 들어 Googlebot은 Googlebot/2.1, GPTBot은 GPTBot/1.1 같은 토큰을 포함합니다.

UA만으로 판단하면 위험한 이유

User-Agent는 누구나 위조할 수 있습니다. 악성 스크래퍼가 Googlebot을 사칭해 접근하면, UA 문자열만 믿는 서버는 이를 걸러내지 못합니다.

권장 검증 절차

정상 봇을 신뢰하려면 다음을 함께 확인합니다.

• UA에 알려진 봇 토큰이 있는지 1차 확인
• 접속 IP에 대한 역DNS 조회로 googlebot.com 등 공식 도메인 여부 확인
• 그 결과를 다시 정방향 DNS로 확인(역+정방향 일치)
• 공식 문서가 제공하는 IP 대역과 대조

robots.txt와의 관계

예의 바른 봇은 robots.txt를 존중합니다. 크롤링을 제어하려면 UA로 차단하기보다 robots.txt와 서버 측 IP 검증을 조합하는 편이 견고합니다.

AI 크롤러(GPTBot·ClaudeBot·PerplexityBot 등)도 대부분 robots.txt 규칙을 따르므로, 학습 크롤링을 막고 싶다면 해당 UA를 robots.txt에서 Disallow로 지정할 수 있습니다.