Alteração de User-Agent e ética

O User-Agent é um valor definido pelo cliente, portanto pode ser alterado livremente. Ele é configurado com facilidade por meio das ferramentas de desenvolvedor do navegador, de extensões, de bibliotecas de cliente HTTP etc.

Usos legítimos

• QA para testar a renderização em vários navegadores·aparelhos
• Reproduzir um ambiente específico em testes automatizados
• Definir o UA para que o próprio crawler se identifique honestamente

Usos a evitar

• Passar-se por bot de mecanismo de busca para contornar conteúdo pago ou restrições de acesso
• Fazer scraping em massa ignorando o robots.txt·os termos de uso
• Falsificar a identidade para escapar de tarifas·políticas

Se você criar um crawler

É boa prática colocar no seu crawler um UA identificável e um contato (ou URL de informações). Ex.: MyBot/1.0 (+https://example.com/bot). Assim, o administrador do site pode entrar em contato caso ocorra algum problema.

O que é tecnicamente possível difere do que é eticamente aceitável. Como a alteração de UA é uma ferramenta poderosa, deve ser usada com responsabilidade.