Руководство по User-Agent
Подборка коротких материалов о понятии, структуре и применении User-Agent.
Что такое User-Agent Объясняет базовое понятие: что такое строка User-Agent, которую браузер отправляет серверу, и зачем она существует.
Разбор структуры строки User-Agent Разбирает по частям, что означает каждый фрагмент строки UA, начинающейся с Mozilla/5.0.
Что такое User-Agent Client Hints Знакомит с User-Agent Client Hints (UA-CH) — современным стандартом, заменяющим и дополняющим строку UA.
Как надёжно идентифицировать ботов и краулеров Описывает, как надёжно отличать ботов, не полагаясь только на User-Agent.
Различаем мобильный и десктопный UA Объясняет сигналы, по которым в User-Agent различают мобильные, планшеты и десктопы, и типичные ловушки.
Изменение User-Agent и этика Разбирает, когда менять UA законно, а когда этого стоит избегать, а также этикет краулинга.