Изменение User-Agent и этика

User-Agent — значение, которое задаёт клиент, поэтому его можно свободно менять. Его легко настроить через инструменты разработчика браузера, расширения, библиотеки HTTP-клиентов и т. п.

Правомерное использование

• QA-тестирование рендеринга в разных браузерах и на разных устройствах
• Воспроизведение определённого окружения в автоматизированных тестах
• Указание UA, чтобы ваш краулер честно раскрывал себя

Использование, которого стоит избегать

• Выдача себя за бота поисковой системы для обхода платного контента или ограничений доступа
• Массовый скрейпинг в обход robots.txt и условий использования
• Маскировка личности ради обхода тарифов и политик

Если вы создаёте краулер

Хорошей практикой считается указывать в UA своего краулера идентифицируемое имя и контакт (или URL с пояснениями). Например: MyBot/1.0 (+https://example.com/bot). Так владелец сайта сможет связаться с вами при возникновении проблем.

Технически возможное и этически допустимое — не одно и то же. Изменение UA — мощный инструмент, поэтому пользоваться им нужно ответственно.