Что такое User agent: как его узнать и изменить в разных браузерах

Что такое User agent

User-Agent — это специальная строка HTTP-заголовка. Клиент (браузер, поисковый бот или другое приложение) отправляет ее серверу при каждом запросе в сеть интернет. Она содержит информацию, которая идентифицирует программу, ее версию, операционную систему и тип устройства. Благодаря этим данным сервер адаптирует контент, а веб-аналитика точно группирует трафик.

Фактически, юзер агент — это идентификатор внутри HTTP-запроса, а не отдельный файл на диске. Исторически этот инструмент решил проблему совместимости: сервер начал понимать, кто именно запрашивает доступ, и отдавать корректную версию сайта.

GET / HTTP/1.1
Host: example.com
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36

Подробнее о профилировании User-Agent — в спецификации OMA UAProf.

Строка User-Agent: из чего состоит и примеры

Заголовок User-Agent содержит токены, выстроенные по типовому шаблону: Product/Version (Platform; Details) Engine/Version AdditionalTokens. Обычно строка включает название и версию клиента, данные об ОС, а также рендер-движок.

А на вашем сайте техничка в порядке?

• Подарим чек-лист по внутренней оптимизации
• Проконсультируем по SEO-вопросам

Получить чек-лист

Типовой шаблон:
Product/Version (Platform; Details) Engine/Version AdditionalTokens

Примеры:

1) Desktop Chrome (Windows)
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36

2) Safari (iPhone)
Mozilla/5.0 (iPhone; CPU iPhone OS 14_4 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.0 Mobile/15E148 Safari/604.1

3) Googlebot
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Как читать строку:

• Mozilla/5.0 — базовый маркер совместимости (agent mozilla), присутствующий почти везде.
• (Windows NT 10.0; Win64; x64) — операционная система (OS Windows) и разрядность процессора.
• AppleWebKit/537.36 (KHTML, like Gecko) — рендер-движок. Часто применяется для Chromium-клиентов.
• Chrome/124.0.0.0, Safari/537.36 — конкретный браузер и его сборка.
• compatible; Googlebot/2.1 — идентификатор поискового робота (например, google com bot).

Где применяется User Agent

1. Кросс-браузерная совместимость. Разные программы по-своему рендерят код. Чтение user agent помогает серверу определить клиентское приложение и отдать корректный дизайн без сломанной верстки.
2. Адаптивный дизайн. Сервер извлекает из заголовка данные о типе устройства (mobile или десктоп) и загружает соответствующий макет.
3. Безопасность и аутентификация. Анализ заголовков помогает выявлять аномальные запросы, блокировать ботнеты и предотвращать действия злоумышленников.
4. Аналитика. Это надежный способ узнать параметры аудитории, кто пришел на сайт: собрать статистику по популярным браузерам, смартфонам (например, iPhone или Android) и операционным системам.
5. Автоматизация и парсинг. Разработчик может изменить user agent скрипта, замаскировав его под обычного пользователя. Это позволяет обойти базовые серверные фильтры при сборе контента.

Вебмастерам и специалистам по арбитражу трафика особенно важен пятый пункт. Подмена user agent дает возможность тестировать воронки и обходить региональные блокировки, не раскрывая реальные данные.

User Agent в robots.txt

Директива User-agent в файле robots.txt указывает поисковым ботам правила обхода сайта.

Обычно вебмастера настраивают правила для следующих краулеров:

• YandexBot.
• Googlebot.
• Bingbot (основной робот Microsoft).

Чтобы задать общие инструкции для всех ботов сразу, используется символ звездочки (*).

Далее мы рассмотрим всех юзер агентов «Яндекса» и Google.

5 классных SEO-кейсов

Круче, чем Гудини: как мы вырастили трафик в 2,2 раза

Все вы прекрасно знаете Гарри Гудини: этот фокусник мог выбраться из закрытой бочки, брошенной в воду. Примерно в таких же рамках оказались и мы, начиная работу с сайтом Eurorepar. Узкий функционал, жесткие требования. Но мы справились без магии, увеличив трафик х2!

Читать кейс

Читать кейс

Как выжать максимум из двадцатилетнего сайта

Можно ли выжать максимум из 20-летнего сайта и докрутить его до современных стандартов? А если есть отягчающие обстоятельства — накрутка поведенческих факторов, антиботы, да еще и админка капризничает и сама удаляет категории?

Читать кейс

Читать кейс

Долгая дорога в SEO и мощный прорыв

Наш клиент — интернет-магазин B2B промышленной тематики. Он достался нам после предыдущих подрядчиков, и первые год-два мы исправляли их ошибки. А потом началась долгая кропотливая работа, которая в итоге принесла желанный результат.

Читать кейс

Читать кейс

Qugo: вырастили трафик из блога платформы b2b в 9,7 раз!

Молодой сайт, сложная тематика b2b, крупные конкуренты — с такими вводными трафик и позиции оставляли желать лучшего. Но бы добились цели: повысили трафик и позиции, улучшили узнаваемость бренда

Читать кейс

Читать кейс

Эффективное ссылочное продвижение для федеральной аптечной сети

Федеральная аптечная сеть пришла в Kokoc Performance (входит в Kokoc Group) за ссылочным продвижением. Интересно, что в компании есть своя in-house команда по SEO, которая подготовила ссылочную стратегию, а за ее реализацией обратилась к нам.

Читать кейс

Читать кейс

1/5

Примеры использования директивы User-agent в robots.txt

Разберемся, как выглядит и за что отвечает пользовательский агент в файле роботс.

Пример использования нескольких User-agent в robots.txt

User-agent: Yandex
Disallow: /search

User-agent: Googlebot
Disallow: /search

User-agent: *
Allow: /search

Важно: не оставляйте пустых строк между «User-agent» и его директивами «Allow/Disallow» в одной группе — это может нарушить корректную обработку инструкций роботом.

В примере показана базовая настройка. Для каждого юзерагента можно задать свой уникальный набор разрешающих и запрещающих правил.

Если нужно ограничить частоту обхода для Яндекса, используйте директиву Crawl-delay:

# Пример задержки обхода для Яндекса
User-agent: Yandex
Crawl-delay: 2

Значение указывается в секундах. Перед применением проверьте актуальную поддержку директивы конкретным роботом — интерпретация может отличаться в зависимости от поисковой системы.

Виды программ, использующих User agent

Любое устройство с доступом в сеть (ПК, Mac, смартфон) генерирует свой заголовок. Итоговое значение user agent зависит от установленного программного обеспечения.

• Браузеры. Популярные десктопные и мобильные клиенты: Google Chrome, Opera, Firefox, Safari.
• Поисковые боты. Краулеры Яндекса, Google, Bing, сканирующие интернет-ресурсы.
• Консоли. PlayStation или Xbox при запуске встроенного веб-обозревателя.
• SEO-инструменты. Парсеры и сервисы мониторинга ссылок передают свой технический user агент.
• Электронные книги. Ридеры с модулем Wi-Fi отправляют запросы при загрузке текста или обновлении прошивки.

Как определить User Agent

Детальную информацию о запросах к сайту фиксируют серверные логи. Активировать запись журналов доступа (access.log) нужно в панели управления хостингом.

Например, при настройке логов на виртуальном сервере алгоритм выглядит так:

Через консоль браузера (быстро)

Если серверные логи недоступны или нужно проверить значение прямо сейчас — воспользуйтесь консолью DevTools. Это займет несколько секунд.

1. Откройте DevTools (F12) → вкладка Console.
2. Вставьте и выполните:

   console.log(navigator.userAgent);               // классический UA
   console.log(navigator.userAgentData?.platform); // UA-CH: платформа (при поддержке)
   console.log(navigator.userAgentData?.brands);   // UA-CH: бренд и версия браузера

3. Скопируйте нужные значения из вывода консоли.

Свойство navigator.userAgentData поддерживается не во всех браузерах — если значение undefined, используйте классический navigator.userAgent.

Для глубокого анализа параметров рекомендую использовать базу данных browscap.org. Это объемный бесплатный справочник, где можно проверить любой юзерагент.

Эффективное SEO

• Гарантия результатов
• Комплексное развитие
• При любом тарифе отслеживаем динамику заявок и звонков с сайтов
• Регулярный пересмотр семантического ядра

Узнать больше

Как использовать User Agent

Рассмотрим процесс подмены user agent на примере Яндекс Браузера.

1. Откройте меню настроек (значок с тремя полосками в правом верхнем углу):



2. Перейдите в каталог расширений (ссылка находится в левом нижнем углу):



3. Введите название плагина в строку поиска:



4. Оптимальный инструмент для задачи — User-Agent Switcher:



5. Нажмите кнопку установки:



6. Подтвердите добавление компонента в систему:



7. На панели инструментов появится иконка быстрого доступа:

Плагин agent switcher помогает в пару кликов менять user agent, эмулируя различные версии браузеров и операционных систем.

Алгоритм работы:

1. Кликните по иконке расширения.
2. Выберите из списка нужный браузер и ОС.
3. Укажите конкретную версию (version) платформы.
4. Нажмите «Apply» для применения настроек.

Инструмент содержит готовый список: можно выбрать старый Internet Explorer, актуальный Chrome, Opera, Edge или Safari. Доступна эмуляция мобильных (mobile) и десктопных устройств на базе Windows, Linux, Mac OS, Android и iOS.

Смена user agent применяется для тестирования верстки. Веб-разработчики используют этот метод, чтобы проверить совместимость дизайна и скриптов (javascript) на разных устройствах без покупки реальных гаджетов.

Зачем менять User-Agent

Специалисты подменяют user agent, чтобы проверить корректность отработки SEO-директив сервером при визите поискового бота.

Разные движки специфически рендерят код. Если в Microsoft Edge принудительно установить юзерагент от Firefox, некоторые визуальные элементы могут сломаться. Это нормальное поведение при тестировании.

Категорически запрещено использовать подмену UA для клоакинга — показа разного контента ботам и реальным людям. Подобная манипуляция выдачей быстро вычисляется поисковыми системами и гарантированно приводит к бану сайта.

Как изменить User Agent в браузерах

Существует нативный способ изменить user agent без установки сторонних расширений. Он работает во всех браузерах на движке Chromium (Google Chrome, Microsoft Edge, Opera, Яндекс Браузер).

Нажмите F12, чтобы открыть панель разработчика (DevTools):

1. В правом верхнем углу панели кликните на три точки (Customize and control DevTools), перейдите в меню More tools и выберите Network conditions:



2. В появившейся нижней панели найдите блок User agent и снимите чекбокс «Use browser default»:



3. В выпадающем списке выберите нужный user agent (например, мобильный Safari или Googlebot).

Процесс настройки для Mozilla Firefox немного отличается. Подробная инструкция представлена в видео:

Приватность и будущее: User-Agent Client Hints (UA-CH)

В рамках инициативы UA Reduction современные браузеры постепенно сокращают детализацию классической строки. Вместо передачи избыточного массива данных сервер запрашивает только необходимую информацию через механизм Client Hints.

Сервер → ответ клиенту:
Accept-CH: Sec-CH-UA, Sec-CH-UA-Mobile, Sec-CH-UA-Platform

Клиент → следующие запросы:
Sec-CH-UA: "Chromium";v="124", "Not.A/Brand";v="99"
Sec-CH-UA-Mobile: ?0
Sec-CH-UA-Platform: "Windows"

Посмотреть классический UA и данные UA-CH можно прямо в консоли браузера:

/* Как посмотреть в браузере */
console.log(navigator.userAgent);               // классический UA
console.log(navigator.userAgentData?.platform); // UA-CH: платформа
console.log(navigator.userAgentData?.brands);   // UA-CH: бренд и версия

Рекомендация: не используйте UA-сниффинг как единственный метод определения клиента. Внедряйте поддержку UA-CH и feature detection — это современный стандарт безопасности. Классический заголовок стоит использовать только для поддержки устаревших систем.

Коротко о главном

• User-Agent — базовый HTTP-заголовок в запросе клиента. Содержит технические данные о браузере, ОС и типе устройства.
• В SEO юзерагент применяется для настройки правил сканирования в файле robots.txt.
• Идентификатор передают любые сетевые устройства: от смартфонов до игровых консолей. Это необходимо для веб-аналитики, адаптивного дизайна и защиты от ботов.
• Изменить user agent можно через консоль разработчика (F12) или с помощью плагинов (например, User-Agent Switcher).
• Актуальный список всех существующих строк собран в бесплатной базе browscap.org.
• Будущее технологии — за стандартом UA-CH, который повышает приватность пользователя, передавая серверу только запрошенные параметры.