ボット・クローラーを安全に識別する方法

検索エンジンボット、ソーシャルプレビューボット、AI クローラーは、ほとんどが自分を名乗る User-Agent を使用します。たとえば Googlebot は Googlebot/2.1、GPTBot は GPTBot/1.1 のようなトークンを含みます。

UA だけで判断すると危険な理由

User-Agent は誰でも偽装できます。悪意のあるスクレイパーが Googlebot を騙ってアクセスすると、UA 文字列だけを信じるサーバーはこれを排除できません。

推奨される検証手順

正規のボットを信頼するには、次を併せて確認します。

• UA に既知のボットトークンがあるかを一次確認
• 接続元 IP に対する逆DNS ルックアップで googlebot.com などの公式ドメインかを確認
• その結果を再び正引き DNS で確認（逆引き+正引きの一致）
• 公式ドキュメントが提供する IP 範囲と照合

robots.txt との関係

行儀の良いボットは robots.txt を尊重します。クロールを制御するには、UA でブロックするよりも robots.txt とサーバー側の IP 検証を組み合わせる方が堅牢です。

AI クローラー（GPTBot・ClaudeBot・PerplexityBot など）もほとんどが robots.txt のルールに従うため、学習クロールを止めたい場合は該当する UA を robots.txt で Disallow に指定できます。