A/B тестирование: что это такое, этапы и инструменты

Изучение поведения пользователей на сайте помогает сделать интерфейс более удобным, повысить продажи и улучшить позиции сайта в выдаче. Одним из таких методов изучения является А/В тестирование.

Что такое A/B тест

A/B тестирование (AB testing, а-б тест) или сплит-тестирование — это метод исследования, при котором тестируется эффективность двух вариантов. Респонденты делятся на равные и однородные группы, а затем оценивается, какой из вариантов оказался более успешным.

Если коротко, все происходит так:

1. Выстраивается гипотеза, что изменение одного элемента страницы улучшит показатели.
2. Выбираются параметры для анализа — клики, конверсии и т.д.
3. Подключаются метрики — системы проведения оценки.
4. Проводится тест (10-14 дней).
5. Собираются и оцениваются результаты.

В ходе оценки измеряют, как влияет изменение одного параметра на эффективность — дочитывания, время пользователя на сайте, использование форм обратной связи и так далее.

СТРАТЕГИЯ ДЛЯ БИЗНЕСА ЗА ПАРУ КЛИКОВ

• Как продвигать бизнес? Получите ответ бесплатно
• Без продаж и консультаций.
• Воспользуйтесь нашим TG-ботом и заберите маркетинговую стратегию!

Что можно исследовать сплит-методом

А/Б тестированием можно проверять любые элементы страницы:

• Кнопки: внешний вид, текст, расположение, размер.
• Заголовок и описания.
• Конверсионные формы: количество полей, текст, расположение.
• Макет страницы.
• Изображения.
• Количество текста.

Кому пригодится проведение A/B тестов

Навык проведения тестирования пригодится всем, кто взаимодействует с сайтами или приложениями:

• Вебмастерам.
• Администраторам сайтов.
• SEO-специалистам.
• Аналитикам.
• UX-писателям.
• UX-исследователям.
• Маркетологам.

Для проведения теста не нужно специальных навыков: достаточно обойтись пониманием интерфейса. Умение работать с кодом пригодится для тонкой настройки инструментов.

Читайте также:

Что такое web-аналитика, зачем она нужна, сервисы аналитики

Зачем нужно проведение A/B тестирования

У исследования есть первоначальная цель — это улучшение показателей, оценка пользовательского опыта. При А/В исследовании посетители могут даже не знать, что они участвуют в тесте. Чаще всего он используется в таких целях:

• Улучшение юзабилити. Сюда можно отнести дополнение или упрощение функционала. Может проводиться в дополнение к коридорному тесту, как исследование «в полях».
• Персонализация коммуникации с пользователями. С этой целью чаще работают с текстами — на странице, кнопках, уведомлениях, формах обратной связи.
• Увеличение числа конверсий. Тут экспериментируют с формами подписки, кнопками, важными элементами страницы.
• Адаптация действующей системы под актуальные потребности аудитории. Тренды всегда меняются. То, что вчера вызывало восторг, уже сегодня может вызывать негатив у посетителей.
• Снижение числа отказов на сайте. Построение и проверка гипотез, что именно служит причиной: неудобная форма заказа, несоответствие ожиданиям аудитории и т. д. Если в ходе эксперимента показатели страницы улучшаются, можно использовать изменения на все аналогичные страницы.
• Минимизация рисков при внесении изменений. Главный плюс метода — продажи не теряются. Из выбранного количества посетителей половина будет видеть старую версию, а потому новые элементы (если они менее эффективны) не приведут к существенному уменьшению числа конверсий.

Читайте также:

Коммерческие SEO факторы ранжирования Яндекс и Google

Этапы A/B тестирования

Перед началом проведения сплит-теста стоит проверить, подходит ли он вам. Чтобы получить достоверные результаты, сайт должен иметь стабильный поток посетителей, регулярные конверсии, настроенные системы аналитики. Если это новый ресурс, то выборка может быть недостаточно репрезентативной. Поэтому лучше проводить тест именно на тех сайтах, у которых уже есть поток посетителей — как новых, так и постоянных.

Само проведение можно разделить на несколько частей.

1. Построение гипотезы

На первом этапе проводится анализ ресурса. Здесь маркетолог определяет, что именно можно изменить и как это может сказаться на эффективности.

В идеале гипотезу формулируют на основании исследования пользовательского опыта — проведения интервью или коридорного тестирования, пятисекундного теста. Иногда в формировании гипотез помогает изучение отчетов из метрики: списка конверсий, карты скроллинга, карты кликов.

Также в гипотезе важно выделять, какой показатель должен измениться.

Дополнительно отслеживайте другие метрики — время пользователей на сайте, например. Это поможет в дальнейшем собрать более полную картину исследования.

Продвижение сайта по лидам

• Никаких абстрактных показателей эффективности SEO.
• Оплата продвижения только за совершенные целевые действия: заявки, звонки, оформление заказа, регистрация.

2. Подключение метрик

Выберите программу, с помощью которой будете проводить тестирование. Для подключения системы нужен доступ администратора сайта — код события нужно будет добавить в шапку на исследуемой странице.

В метриках выберите основные параметры проведения эксперимента:

• Длительность.
• Процент разделения аудитории — кто будет видеть версию «A», а кто будет видеть версию «B».
• Минимальный размер выборки — его можно вычислить с помощью калькулятора DriveBack.

Программа помогает рассчитать, сколько пользователей нужно для участия в эксперименте. Для этого нужно знать базовую конверсию и минимальный видимый эффект — относительную разницу в конверсии в сравнении с базовой. Чем она ниже, тем больше выборка потребуется.

3. Проведение теста

Стандартный срок выполнения исследования составляет 10-14 дней. Первую неделю называют «чистой». В это время статистика только начинает собираться, а пользователи — привыкать к изменениям. Даже если изначально определяется лидер, не нужно прерывать эксперимент.

4. Сбор результатов и формирование выводов

Итак, 14 дней прошли, время выгружать результаты.

Для оценки достоверности теста существуют специальные калькуляторы. Один из них — все тот же DriveBack, но уже другой его раздел — «Определение статистической значимости». На основании размера выборки и полученных результатов он помогает определить, можно ли считать результаты теста достоверными.

Пример: В тесте участвовало 10 000 посетителей, которых разделили на равные группы. Первая группа показала 35 конверсий, вторая — 55.

Вводим эти значения в калькулятор и получаем отчет о достоверности:

Если значения будут в рамках погрешности, калькулятор даст результат об отсутствии статистической значимости.

Также в анализе можно запросить отчет о достоверности результатов из Google Optimize. В норме достоверность должна составлять более 95 %. Этот показатель доступен уже во время исследования, но если в процессе сервис показывает более низкие значения, прерывать эксперимент не стоит.

5. Проверка дополнительных показателей

В постановке целей добавляют основную метрику, изменения которой будут отслеживаться. Как мы уже рекомендовали ранее, добавьте отслеживание дополнительных значений — их изменения тоже можно использовать в отчете и для составления дальнейших гипотез.

Комплексная веб-аналитика

• Позволяет видеть каждый источник трафика, его качество — процент конверсии по каждой кампании, группе объявлений, объявлению, ключевому слову.
• Даст понимание насколько качественный трафик дает каждый канал, стоит ли в него вкладываться или стоит ограничить.

Инструменты для проведения исследования

Существует несколько инструментов, упрощающих работу исследователей. Эти программы могут самостоятельно разделять пользователей и отслеживать эффективность всех вариантов тестируемых страниц.

Google Marketing Platform (Google Optimize)

• Цена: бесплатно.
• Как подключить: добавить код в шапку сайта.

Самый популярный инструмент для проведения А/Б тестов. Он полностью бесплатный и может использоваться как на лендингах, так и на отдельной странице обычного сайта. Для подключения понадобится аккаунт Google Analytics.

Читайте также:

Google Analytics для начинающих: самое полное руководство. Часть 1. Universal Analytics

Чтобы исследовать изменения на лендинге, используйте вариант «Эксперимент с переадресацией» — он будет показывать две разные версии сайта выделенным сегментам аудитории. В остальных случаях можно использовать вариант A/В тестирование.

Преимущества Google Marketing Platform

• Бесплатный.
• Понятный интерфейс.
• Уведомления о важных изменениях приходят на привязанный адрес электронной почты.
• Можно одновременно проводить несколько тестов.
• Выбор процента трафика, который будет участвовать в исследовании.
• Выбор целей из списка стандартных или настройка собственной.

Недостатки Google Marketing Platform

• Не работает с рекламными объявлениями.
• Не поддерживает анализ трафика.
• Нет анализа конкурентов.
• Нет многофакторной авторизации.

Optimizely

• Цена: есть бесплатная версия для 1 сайта.
• Как подключить: добавить код в контейнер <head> в шапке сайта.

Разработчики Optimizely пошли по пути улучшения одного продукта, а не расширения возможностей в разных направлениях. Поэтому эта программа подходит только для А/Б тестирования. Но у нее настолько простой и понятный интерфейс, что самым сложным будет добавить код в шапку сайта. Визуально он похож на графический редактор, в котором можно изменить любой элемент — цвет, текст, размер, расположение.

Преимущества Optimizely

• Работа с сайтами, рассылками, платформами данных.
• Подробные отчеты в личном кабинете.
• Точная сегментация аудитории.
• Индивидуальные тарифы под потребности каждого отдельного бизнеса.

Недостатки Optimizely

• Англоязычный интерфейс.
• Нет двухфакторной аутентификации.

Visual Website Optimizer

• Цена: есть демо-версия на 30 дней, но с ограничение по количеству пользователей (до 1000 посетителей). Платные тарифы от 59$.
• Как подключить: добавить код в шапку сайта.

Сервис поддерживает сплит-тестирования на любой странице сайта. Может отслеживать навигацию, конверсии, таргетинг (15 параметров). У него тоже есть визуальный редактор, как и в Optimizely. Поддерживает интеграцию с Google Analytics.

Преимущества Visual Website Optimizer

• Тестирование мобильной и десктопной версии сайта.
• Настройка поведенческого таргетинга.
• Создание тепловых карт.
• Не нужно знание html.

Недостатки Visual Website Optimizer

• Английский язык в интерфейсе.
• Не поддерживает сегментацию аудитории.
• В рамках бесплатного пакета доступен анализ только 1000 посетителей — этого недостаточно для проведения тестирования.

ABtasty

• Цена: есть бесплатная демо-версия 30 дней. Дальше цена выдается по запросу — в зависимости от ниши и количества посетителей.
• Как подключить: добавить код в шапку сайта.

Здесь тоже не требуется знание html для управления интерфейсом. Сделан удобный графический редактор, в котором можно вносить изменения любых элементов страницы. Сервис поддерживает проведение сплит-тестов, мультивариантных исследований, интеграцию с GA, имеет 7 критериев настройки таргетинга.

При объеме пользователей более 200 000 тарифы на использование рассчитываются индивидуально. Для сайтов на WP есть плагин ABtasty, который можно сразу встроить в сайт.

Преимущества ABtasty

• Гибкость настройки — можно создать любой сценарий тестирования.
• Точный таргетинг на определенный сегмент аудитории.
• Формирование расширенных отчетов.

Недостатки ABtasty

• Нет русскоязычной поддержки и русскоязычного интерфейса.
• Меньше критериев настройки таргетинга, чем в аналогах.

Читайте также:

Подробный гайд по оптимизации сайта на WordPress

Convert

• Цена: есть бесплатная версия 15 дней. Платный тариф от 449 $.
• Как подключить: добавить код в шапку сайта.

Здесь самые расширенные возможности таргетинга среди популярных сервисов — до 35 параметров. Convert поддерживает интеграцию с GA. Программа может применяться для проведения сплит-тестов, мультивариантных и мультистраничных исследований. Поддерживает работу с аудиторией до 1,2 млрд посетителей — это приблизительно 1/7 всего населения планеты.

Преимущества Convert

• Гибкая настройка.
• Проведение нескольких экспериментов сразу.
• Отслеживание результатов в режиме реального времени.

Недостатки Convert

• Нет русскоязычной поддержки.
• Пробный период всего 14 дней.
• Высокая стоимость платной подписки.

Changeagain

• Цена: бесплатно для 1 сайта. Платная версия от 14 $/мес.
• Как подключить: интеграция с встроенным счетчиком GA и добавление кода на сайт на период тестирования.

Этот сервис «дружит» c GA и может получать данные прямо из аккаунта аналитики. Его особенность — на сайте уже есть варианты проведения А/В тестирования, которые можно использовать в своей практике. Поддерживает проведение нескольких исследований одновременно.

Преимущества Changeagain

• Высокая точность данных.
• Можно перенести цели в свой счетчик GA и отслеживать их после проведения теста.
• Работает даже с теми страницами, которые закрыты логином и паролем.

Недостатки Changeagain

• Не всегда авторизация проходит с первого раза — почтовый клиент может блокировать доступ к сервису, считая его ненадежным.
• Для мультивариантного тестирования придется покупать базовый или премиальный пакет — в начальном такой функции нет.

Распространенные ошибки в проведении исследования

1. Исследование нескольких изменений. Если нужно повысить конверсию формы обратной связи и при этом вносятся изменения в содержание, цвет кнопок, текст, количество полей — как определить, что из этого сработало? Один элемент вызывает положительную динамику, а другой, наоборот, отрицательную. Результаты смазываются, тестирование получается недостоверным.
2. Использование чужих гипотез. Учитывайте особенности каждого отдельного бизнеса, функционал сайта и т. д. На ресурсах отличается оптимизация, трафик, ЦА, а потому не все гипотезы будут работать одинаково.
3. Неправильная продолжительность. Мы уже говорили, что нельзя заканчивать эксперимент раньше времени. Но и слишком надолго растягивать его тоже нельзя. Оптимально — 14 дней.
4. Разовое проведение теста. Исследование может проводиться несколько раз подряд — тестировать новые гипотезы на основании предыдущих, дополнять изменения на сайте и проверять, какое из них лучше работает.
5. Игнорирование внешних факторов. Поведение пользователей зависит от многих причин: сезонность, периоды распродаж, праздники и т.д. Из-за этого исследование может давать недостоверные показатели. Проводите тесты нейтральные периоды.
6. Неправильный подбор инструментария. Большинство программ требует добавления стороннего кода на страницу. Это может замедлить загрузку и негативно сказаться на поведенческих факторах. Поэтому старайтесь выбирать те программы, которые не настолько сказываются на скорости загрузки страниц, и убирайте код после окончания эксперимента.
7. Недостаточно полное отслеживание метрик. Если отслеживать только основной показатель, не учитывая при этом дополнительные, результат будет неполным. Учитывайте связанные показатели — их изменение может дополнить начальную гипотезу и дать материал для построения следующих.

Присоединяйтесь к нашему Telegram-каналу!

• Теперь Вы можете читать последние новости из мира интернет-маркетинга в мессенджере Telegram на своём мобильном телефоне.
• Для этого вам необходимо подписаться на наш канал.