User-Agent-Generator / Bot-·Crawler-Verzeichnis / SEO

SEO Bot-·Crawler-User-Agent

Die repräsentativen User-Agents, die Bots und Crawler der Kategorie SEO bei echten Anfragen verwenden.

AhrefsBotMozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)
SemrushBotMozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)

Bot-User-Agents können sich mit der Zeit ändern und lassen sich auch fälschen. Beurteilen Sie die Zugriffskontrolle nicht allein anhand der UA-Zeichenkette, sondern setzen Sie zusätzlich eine Reverse-DNS-Abfrage oder eine Prüfung der offiziellen IP-Bereiche ein.