Comment identifier les robots · crawlers en toute sécurité

Les robots de moteurs de recherche, les robots d'aperçu pour réseaux sociaux et les crawlers d'IA utilisent pour la plupart un User-Agent qui les identifie. Par exemple, Googlebot inclut un jeton comme Googlebot/2.1 et GPTBot un jeton comme GPTBot/1.1.

Pourquoi juger uniquement d'après l'UA est risqué

N'importe qui peut falsifier un User-Agent. Si un scraper malveillant se fait passer pour Googlebot afin d'accéder au site, un serveur qui ne se fie qu'à la chaîne UA ne parviendra pas à le filtrer.

Procédure de vérification recommandée

Pour faire confiance à un robot légitime, vérifiez conjointement les points suivants.

• Vérifier d'abord la présence d'un jeton de robot connu dans l'UA
• Effectuer une résolution DNS inverse sur l'IP d'accès pour confirmer un domaine officiel tel que googlebot.com
• Confirmer ce résultat par une résolution DNS directe (correspondance inverse + directe)
• Comparer avec les plages d'IP fournies par la documentation officielle

Le rapport avec robots.txt

Un robot poli respecte robots.txt. Pour contrôler le crawl, il est plus robuste de combiner robots.txt et une vérification des IP côté serveur plutôt que de bloquer par l'UA.

Les crawlers d'IA (GPTBot, ClaudeBot, PerplexityBot, etc.) suivent eux aussi pour la plupart les règles robots.txt ; si vous voulez empêcher le crawl d'entraînement, vous pouvez indiquer leur UA en Disallow dans robots.txt.