Что такое User agent: как его узнать и изменить в разных браузерах

Что такое User agent

User Agent — это приложение со стороны клиента, которое браузеры и иные интернет-сервисы используют, чтобы показывать веб-сайтам информацию о себе в определенной строке.

Как правило, юзер агент выглядит как отдельный файл с несколькими строками кода, предназначенными именно для идентификации. Здесь также содержатся сведения о применяемом устройстве, ОС клиента и т .д. User agent позволил решить проблему, когда определенные страные могли использовать ТОЛЬКО те браузеры, которые были разработаны именно в них.

Простыми словами, User agent — строка-идентификатор приложения клиента.

Читайте также:

Гайд по технической оптимизации сайта

Где применяется User Agent

1. Кросс-браузерная совместимость. Мы все знаем, что разные браузеры могут открыть одну и ту же страницу. Благодаря юзер агентам можно понять, какой конкретно браузер открыл клиент и дать ту версию сайта, которая будет адекватно в нем отображаться, без поехавшей верстки, шрифтов и т. д.
2. Адаптивный дизайн. Веб-серверы берут из файла пользовательского агента информацию о типе устройства (например, мобильное оно или десктопное) и выдачи той версии сайта, которая как раз для него и была сделана.
3. Аутентификация. Пользовательские агенты также используются в целях определения нездорово повторяющихся запросов и запрета возможных действий злоумышленников.
4. Аналитика и построение статистики. User agent — возможность собрать статистические сведения о тех, кто пришел на сайт — какие у них браузеры, устройства и операционные системы на них. 
5. Автоматизация. Иногда разработчики могут использовать такие файлы для парсинга данных. В таком случае пользовательские агенты просто маскируют под рядовых пользователей, чтобы их пропустили через свои фильтры веб-серверы.

Для тех, кто занимается веб-мастерингом и арбитражем трафика, представляет повышенный интерес пятый пункт, потому что можно использовать чужие юзер агенты и менять в них данные, а также серфить по сети не от своего агентского имени.

Читайте также:

Что такое Google Tag Manager и как его настроить

User Agent в robots.txt

Содержащийся в файле robots.txt пользовательский агент информирует, что поисковый робот должен будет действовать по ряду предписанных ему директив.

В основном в роботсе указываются следующие агенты:

• Yandexbot.
• Googlebot.

Все пользовательские агенты помечаются символом звездочки (*).

Далее мы рассмотрим всех юзер агентов «Яндекса» и Google.

Примеры использования директивы User-agent в robots.txt

Разберемся, как выглядит и за что отвечает пользовательский агент в файле роботс.

Пример использования нескольких User-agent в robots.txt

User-agent: Yandex # Правило действует для всех для всех роботов «Яндекса»

Disallow: /search

User-agent: Googlebot # Правило действует для всех роботов Google

Disallow: /search

User-agent: * # Правило действует для всех роботов, исключая робот роботов «Яндекса» и Google

Allow: /search

В инструкции приведен пример всего лишь одного обращения к конкретному поисковому роботу или ко всем сразу — за директивой могут прописываться команды конкретно под каждый.

Чтобы robots.txt корректно отрабатывал команды, нужно не оставлять пустых строк между директивами User-agent и Allow и Disallow, которые расположены в рамках одной и той же директивы User-agent.

Читайте также:

Файл robots.txt: 6 распространенных ошибок и способы их решения

Виды программ, использующих User agent

Нельзя здесь не сказать, что каждый тип устройств (ноутбук, смартфон, ПК, планшет) вполне может идти со своим юзер-агентом, остальное же определяется типом программного обеспечения.

Можно выделить следующие виды User agent:

• Браузеры. Это «Яндекс.Браузер», Opera, FireFox, Google Chrome и т. д.
• Поисковые системы. Рамблер, Яндекс, Google, Mail и другие ПС, которые ищут и индексируют страницы в интернете.
• Игровые приставки. XBox или Playstation, на которых был, например, запущен веб-обозреватель.
• Сервисы-мониторы ссылок. Существуют веб-ресурсы, которые проверяют ссылки, и им также требуется пользовательский агент.
• Ридеры. Речь об электронных книгах как устройствах. У многих из них есть встроенный вай-фай, поэтому они также могут запускать браузеры для решения каких-то базовых задач (не забываем, что у черно-белых вариантов ридеров не так уж много возможностей по части визуала).

Читайте также:

15 лучших книг для программистов: чтобы читать и понимать код

Как определить User Agent

Всю информацию о запросах к сайту можно обнаружить в серверных логах. Функцию, которая позволяет хранить серверные журналы, можно активировать в Панели управления аккаунтом хостинга.

Если вы, как и я, включали журналы в Beget, далее будет следующее:

Если вы хотите максимально погрузиться в изучение параметров User agent, рекомендуем посетить сайт-базу данных browscap.org. Там база пользовательских агентов постоянно обновляется, и ее можно скачать бесплатно.

Как использовать User Agent

Мы рассмотрим его применение на примере «Яндекс Браузера».

1. Открываем его и и в правом углу выбираем значок с тремя горизонтальными полосками:
2. Далее необходимо перейти в каталог расширений, ссылка на который расположена в левом нижнем углу окна дополнений:
3. В поисковой строке вводим название нужного расширения:
4. Мы будем использовать расширение User-Agent Switcher:
5. Нажимаем кнопку «Добавить в Яндекс.Браузер»:
6. Появляется окошко, где надо подтвердить установку расширения:
7. На панели появится ярлык расширения с таким описанием:

Это расширение позволяет менять информацию не только о веб-обозревателе, но и об ОС, на которой работает пользователь.

Коротко работа с расширением выглядит так:

1. Нажимаем на панели инструментов кнопку расширения:
2. Выбираем в выпадающем окне по очереди браузер и операционную систему.
3. Указываем наиболее приемлемое сочетание различных версий ОС и браузера.
4. Жмем кнопку «Apply» для активации сделанных изменений.

В User-Agent Switcher можно использовать для замены Internet Explorer, Chrome, Opera, Edge, Safari, а также разные десктоп и mobile-версии программ для хождения по сети. Из ОС можно выделить Windows, Linux, Mac OS, Android и т. п.

Также расширение используется для конкретных задач, когда надо обеспечить доступ к сайтам, которые работают корректно только с конкретным браузером. В связи с этим их часто используют веб-разработчики, чтобы посмотреть, как одна и та же страница выглядит в разных браузерах на разных устройствах.

Читайте также:

Руководство по технической оптимизации сайта

Зачем менять User-Agent

Часть юзер агента меняют, чтобы проверить корректность отработки директив для поисковых роботов и сервисов.

Мы уже выше говорили, что разные браузеры при показе страниц специфически обрабатывают информацию, полученную с сервера. Если мы для Microsoft Edge, к примеру, укажем User-Agent браузера FireFox, страницы могут криво отобразиться.

Читайте также:

Как создать карту сайта (sitemap.xml)

Как изменить User Agent в браузерах

Есть один универсальный способ для смены пользовательского агента в браузерах на базе Chromium — это, например, Microsoft Edge, Opera и «Яндекс.Браузер».

В любом окне браузера нажимаем F12. Открывается Инструмент разработчика:

1. В этом окошке справа нажимаем три точки (их всплывающая подсказка — Customize and control DevTools),там выбираем More tools, а затем Network conditions:
2. Внизу открывается еще одна вкладка, где нужно в разделе User agent снять галочку «Use browser default»:
3. Из ползунка выбираем приемлемый для нас браузер и / или его операционную систему

Это способ подойдет (с небольшими вариациями) для любого браузера на базе Chromium.

Чтобы сделать изменения User Agent в FireFox, рекомендуем посмотреть хорошее видео по сути вопроса:

Коротко о главном

• User-Agent — это указатель на то, какой браузер и ОС использует клиент, путешествующий в сети.
• Применение агент можно увидеть в файле robots.txt.
• Пользовательские агенты используются в браузерах, игровых консолях, в целях аутентификации, для аналитики и статистики, а также автоматизированного сбора данных.
• Для грамотного использования и изменения User agent вам нужно воспользоваться инструкциями, представленными в этой статье.
• Гигантское количество строк пользовательского агента хранится на сайте browscap.org.

Присоединяйтесь к нашему Telegram-каналу!

• Теперь Вы можете читать последние новости из мира интернет-маркетинга в мессенджере Telegram на своём мобильном телефоне.
• Для этого вам необходимо подписаться на наш канал.