Modification du User-Agent et éthique

Le User-Agent étant une valeur définie par le client, on peut la modifier librement. On la configure facilement avec les outils de développement du navigateur, une extension ou une bibliothèque cliente HTTP.

Usage légitime

• La QA qui teste le rendu sur plusieurs navigateurs et appareils
• La reproduction d'un environnement particulier dans des tests automatisés
• La définition d'une UA pour que votre propre crawler s'identifie honnêtement

Usage à éviter

• Se faire passer pour un robot de moteur de recherche afin de contourner un contenu payant ou une restriction d'accès
• Le scraping en masse en ignorant robots.txt et les conditions d'utilisation
• Le déguisement d'identité pour échapper à une facturation ou à une politique

Si vous créez un crawler

Il est de bonne pratique d'inclure dans votre crawler une UA identifiable et un contact (ou une URL d'information). Par exemple : MyBot/1.0 (+https://example.com/bot). Ainsi, l'exploitant du site peut vous contacter en cas de problème.

Ce qui est techniquement possible et ce qui est éthiquement permis sont deux choses différentes. La modification d'UA étant un outil puissant, elle doit être utilisée de manière responsable.