SEO 机器人 · 爬虫 User-Agent
属于 SEO 分类的机器人·爬虫在实际请求中使用的代表性 User-Agent。
| AhrefsBot | Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/) |
|---|---|
| SemrushBot | Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html) |
机器人的 User-Agent 会随时间变化，也可能被伪造。做访问控制时不要仅凭 UA 字符串判断，请同时使用反向 DNS 查询或官方 IP 段验证。