Cambiar el User-Agent y la ética
Guía de User-Agent
El User-Agent es un valor que decide el cliente, así que puede cambiarse libremente. Se configura con facilidad mediante las herramientas para desarrolladores del navegador, extensiones, bibliotecas de clientes HTTP, etc.
Uso legítimo
- QA que prueba el renderizado en varios navegadores y dispositivos
- Reproducción de un entorno concreto en pruebas automatizadas
- Asignar el UA para que tu propio rastreador se identifique honestamente
Uso que hay que evitar
- Hacerse pasar por un bot de motor de búsqueda para eludir contenido de pago o restricciones de acceso
- Scraping masivo ignorando robots.txt y los términos de uso
- Suplantación de identidad para evadir tarifas o políticas
Si creas un rastreador
Es una buena práctica incluir en tu rastreador un UA identificable y un contacto (o una URL de información). Por ejemplo: MyBot/1.0 (+https://example.com/bot). Así el administrador del sitio puede contactarte si surge algún problema.
Lo que es técnicamente posible y lo que es éticamente admisible son cosas distintas. Cambiar el UA es una herramienta potente, por lo que debe usarse con responsabilidad.