修改 User-Agent 与伦理
User-Agent 指南
User-Agent 是由客户端决定的值,可以自由修改。通过浏览器开发者工具、扩展程序、HTTP 客户端库等都能轻松设置。
正当的使用
- 在多种浏览器·设备上测试渲染效果的 QA
- 在自动化测试中复现特定环境
- 让自己的爬虫诚实地表明身份而指定 UA
应避免的使用
- 冒充搜索引擎机器人以规避付费内容或访问限制
- 无视 robots.txt·使用条款进行大量抓取
- 为规避费用·政策而伪装身份
如果你要做爬虫
在自己的爬虫中放入可识别的 UA 和联系方式(或说明 URL)是良好的惯例。例如:MyBot/1.0 (+https://example.com/bot)。这样一来,网站运营者在出现问题时就能联系你。
技术上可行与伦理上被允许是两回事。UA 修改是一件强大的工具,正因如此更要负责任地使用。