So erkennen Sie Bots und Crawler sicher

Suchmaschinen-Bots, Social-Vorschau-Bots und KI-Crawler verwenden meist einen User-Agent, der sie zu erkennen gibt. So enthält Googlebot etwa das Token Googlebot/2.1, GPTBot das Token GPTBot/1.1.

Warum ein Urteil allein anhand der UA riskant ist

Den User-Agent kann jeder fälschen. Wenn ein bösartiger Scraper Googlebot vortäuscht, kann ein Server, der nur der UA-Zeichenkette vertraut, ihn nicht herausfiltern.

Empfohlenes Prüfverfahren

Um einem legitimen Bot zu vertrauen, prüfen Sie zusätzlich Folgendes.

• Zunächst prüfen, ob die UA ein bekanntes Bot-Token enthält
• Per Reverse-DNS-Abfrage der zugreifenden IP prüfen, ob eine offizielle Domain wie googlebot.com vorliegt
• Dieses Ergebnis erneut per Vorwärts-DNS bestätigen (Reverse- und Vorwärts-Auflösung stimmen überein)
• Mit den in der offiziellen Dokumentation angegebenen IP-Bereichen abgleichen

Verhältnis zu robots.txt

Höfliche Bots respektieren robots.txt. Um das Crawling zu steuern, ist es robuster, statt über die UA zu blockieren, robots.txt und eine serverseitige IP-Prüfung zu kombinieren.

Auch KI-Crawler (GPTBot, ClaudeBot, PerplexityBot usw.) befolgen meist die robots.txt-Regeln; wenn Sie also das Trainings-Crawling verhindern möchten, können Sie die betreffende UA in der robots.txt per Disallow angeben.