User-Agent ändern und Ethik

Der User-Agent ist ein Wert, den der Client festlegt, und lässt sich daher frei ändern. Man stellt ihn leicht über Browser-Entwicklerwerkzeuge, Erweiterungen, HTTP-Client-Bibliotheken usw. ein.

Legitime Nutzung

• QA, die das Rendering in verschiedenen Browsern und auf verschiedenen Geräten testet
• Nachbildung bestimmter Umgebungen in automatisierten Tests
• Festlegen der UA, damit der eigene Crawler sich ehrlich zu erkennen gibt

Zu vermeidende Nutzung

• Vortäuschen eines Suchmaschinen-Bots, um kostenpflichtige Inhalte oder Zugangsbeschränkungen zu umgehen
• Massen-Scraping unter Missachtung von robots.txt und Nutzungsbedingungen
• Verschleierung der Identität, um Gebühren oder Richtlinien zu umgehen

Wenn Sie einen Crawler bauen

Es ist gute Praxis, in den eigenen Crawler eine identifizierbare UA und einen Kontakt (oder eine Info-URL) aufzunehmen. Beispiel: MyBot/1.0 (+https://example.com/bot). So kann der Website-Betreiber Sie im Problemfall kontaktieren.

Was technisch möglich ist, unterscheidet sich von dem, was ethisch zulässig ist. Das Ändern der UA ist ein mächtiges Werkzeug und sollte daher verantwortungsvoll eingesetzt werden.