Como identificar bots·crawlers com segurança

Bots de mecanismos de busca, bots de pré-visualização em redes sociais e crawlers de IA em geral usam um User-Agent que os identifica. Por exemplo, o Googlebot inclui tokens como Googlebot/2.1 e o GPTBot, GPTBot/1.1.

Por que julgar apenas pelo UA é arriscado

Qualquer um pode forjar o User-Agent. Se um scraper malicioso se passa por Googlebot para acessar, um servidor que confia apenas na string de UA não consegue filtrá-lo.

Procedimento de verificação recomendado

Para confiar num bot legítimo, verifique também o seguinte.

• Confirme primeiro se há um token de bot conhecido no UA
• Faça uma consulta de DNS reverso sobre o IP de acesso para verificar se é um domínio oficial como googlebot.com
• Confirme esse resultado novamente com DNS direto (correspondência reverso+direto)
• Compare com as faixas de IP fornecidas pela documentação oficial

Relação com o robots.txt

Um bot educado respeita o robots.txt. Para controlar o rastreamento, é mais robusto combinar o robots.txt com a verificação de IP no lado do servidor do que bloquear pelo UA.

Os crawlers de IA (GPTBot·ClaudeBot·PerplexityBot etc.) também seguem, em sua maioria, as regras do robots.txt; portanto, se você quiser impedir o rastreamento para treinamento, pode especificar o respectivo UA como Disallow no robots.txt.