User-Agent ботов и краулеров категории «SEO»
Характерные строки User-Agent, которые боты и краулеры категории «SEO» используют в реальных запросах.
| AhrefsBot | Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/) |
|---|---|
| SemrushBot | Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html) |
User-Agent ботов со временем может меняться, а также поддаётся подделке. Не полагайтесь при контроле доступа только на строку UA — используйте вместе с ней обратный DNS-запрос или проверку по официальным диапазонам IP.