A/B тестирование: что это такое, этапы и инструменты

Интернет-маркетолог
Стаж 9 лет
Обновлено: 13.09.2023 Опубликовано: 11.10.2021

Изучение поведения пользователей на сайте помогает сделать интерфейс более удобным, повысить продажи и улучшить позиции сайта в выдаче. Одним из таких методов изучения является А/В тестирование.

Что такое A/B тест

A/B тестирование (AB testing, а-б тест) или сплит-тестирование — это метод исследования, при котором тестируется эффективность двух вариантов. Респонденты делятся на равные и однородные группы, а затем оценивается, какой из вариантов оказался более успешным.

Если коротко, все происходит так:

  1. Выстраивается гипотеза, что изменение одного элемента страницы улучшит показатели.
  2. Выбираются параметры для анализа — клики, конверсии и т.д.
  3. Подключаются метрики — системы проведения оценки.
  4. Проводится тест (10-14 дней).
  5. Собираются и оцениваются результаты.

В ходе оценки измеряют, как влияет изменение одного параметра на эффективность — дочитывания, время пользователя на сайте, использование форм обратной связи и так далее.

При исследовании можно выбирать только один параметр, иначе тестирование не будет достоверным. При изменении нескольких показателей будет сложно определить, что именно повлияло на результаты.

Что можно исследовать сплит-методом

А/Б тестированием можно проверять любые элементы страницы:

  • Кнопки: внешний вид, текст, расположение, размер.
  • Заголовок и описания.
  • Конверсионные формы: количество полей, текст, расположение.
  • Макет страницы.
  • Изображения.
  • Количество текста.

Можно использовать несколько вариантов исследуемого параметра. Тогда это будет называться A/B/n тестированием. Но не все системы метрик поддерживают мультивариантный тест

Кому пригодится проведение A/B тестов

Навык проведения тестирования пригодится всем, кто взаимодействует с сайтами или приложениями:

  • Вебмастерам.
  • Администраторам сайтов.
  • SEO-специалистам.
  • Аналитикам.
  • UX-писателям.
  • UX-исследователям.
  • Маркетологам.

Для проведения теста не нужно специальных навыков: достаточно обойтись пониманием интерфейса. Умение работать с кодом пригодится для тонкой настройки инструментов.

Зачем нужно проведение A/B тестирования

У исследования есть первоначальная цель — это улучшение показателей, оценка пользовательского опыта. При А/В исследовании посетители могут даже не знать, что они участвуют в тесте. Чаще всего он используется в таких целях:

  • Улучшение юзабилити. Сюда можно отнести дополнение или упрощение функционала. Может проводиться в дополнение к коридорному тесту, как исследование «в полях».
  • Персонализация коммуникации с пользователями. С этой целью чаще работают с текстами — на странице, кнопках, уведомлениях, формах обратной связи.
  • Увеличение числа конверсий. Тут экспериментируют с формами подписки, кнопками, важными элементами страницы.
  • Адаптация действующей системы под актуальные потребности аудитории. Тренды всегда меняются. То, что вчера вызывало восторг, уже сегодня может вызывать негатив у посетителей.
  • Снижение числа отказов на сайте. Построение и проверка гипотез, что именно служит причиной: неудобная форма заказа, несоответствие ожиданиям аудитории и т. д. Если в ходе эксперимента показатели страницы улучшаются, можно использовать изменения на все аналогичные страницы.
  • Минимизация рисков при внесении изменений. Главный плюс метода — продажи не теряются. Из выбранного количества посетителей половина будет видеть старую версию, а потому новые элементы (если они менее эффективны) не приведут к существенному уменьшению числа конверсий.

Этапы A/B тестирования

Перед началом проведения сплит-теста стоит проверить, подходит ли он вам. Чтобы получить достоверные результаты, сайт должен иметь стабильный поток посетителей, регулярные конверсии, настроенные системы аналитики. Если это новый ресурс, то выборка может быть недостаточно репрезентативной. Поэтому лучше проводить тест именно на тех сайтах, у которых уже есть поток посетителей — как новых, так и постоянных.

Само проведение можно разделить на несколько частей.

1. Построение гипотезы

На первом этапе проводится анализ ресурса. Здесь маркетолог определяет, что именно можно изменить и как это может сказаться на эффективности.

В гипотезе должны быть сформулированы предположение и результат. Например: «Если мы заменим конверсионную форму на более простую, она начнет приносить больше лидов»

Новая страница с визуальными результатами сделана для запросов, связанных с поиском вдохновения. Например, «Идеи для декора на Хэллоуин» или «Идеи вертикального сада для улицы». Новая функция уже доступна

В идеале гипотезу формулируют на основании исследования пользовательского опыта — проведения интервью или коридорного тестирования, пятисекундного теста. Иногда в формировании гипотез помогает изучение отчетов из метрики: списка конверсий, карты скроллинга, карты кликов.

Также в гипотезе важно выделять, какой показатель должен измениться.

Дополнительно отслеживайте другие метрики — время пользователей на сайте, например. Это поможет в дальнейшем собрать более полную картину исследования.

2. Подключение метрик

Выберите программу, с помощью которой будете проводить тестирование. Для подключения системы нужен доступ администратора сайта — код события нужно будет добавить в шапку на исследуемой странице.

В метриках выберите основные параметры проведения эксперимента:

  • Длительность.
  • Процент разделения аудитории — кто будет видеть версию «A», а кто будет видеть версию «B».
  • Минимальный размер выборки — его можно вычислить с помощью калькулятора DriveBack.

Программа помогает рассчитать, сколько пользователей нужно для участия в эксперименте. Для этого нужно знать базовую конверсию и минимальный видимый эффект — относительную разницу в конверсии в сравнении с базовой. Чем она ниже, тем больше выборка потребуется.

3. Проведение теста

Стандартный срок выполнения исследования составляет 10-14 дней. Первую неделю называют «чистой». В это время статистика только начинает собираться, а пользователи — привыкать к изменениям. Даже если изначально определяется лидер, не нужно прерывать эксперимент.

В процессе также стоит проверять метрики. Если одна форма дает результаты, а вторая показывает 0 % успеха, проверьте работоспособность форм

4. Сбор результатов и формирование выводов

Итак, 14 дней прошли, время выгружать результаты.

Для оценки достоверности теста существуют специальные калькуляторы. Один из них — все тот же DriveBack, но уже другой его раздел — «Определение статистической значимости». На основании размера выборки и полученных результатов он помогает определить, можно ли считать результаты теста достоверными.

Пример: В тесте участвовало 10 000 посетителей, которых разделили на равные группы. Первая группа показала 35 конверсий, вторая — 55.

Вводим эти значения в калькулятор и получаем отчет о достоверности:

Пример отчета об удачном проведении теста
Пример отчета об удачном проведении теста

Если значения будут в рамках погрешности, калькулятор даст результат об отсутствии статистической значимости.

Пример отчета без статистической значимости
Пример отчета без статистической значимости

Также в анализе можно запросить отчет о достоверности результатов из Google Optimize. В норме достоверность должна составлять более 95 %. Этот показатель доступен уже во время исследования, но если в процессе сервис показывает более низкие значения, прерывать эксперимент не стоит.

5. Проверка дополнительных показателей

В постановке целей добавляют основную метрику, изменения которой будут отслеживаться. Как мы уже рекомендовали ранее, добавьте отслеживание дополнительных значений — их изменения тоже можно использовать в отчете и для составления дальнейших гипотез.

Инструменты для проведения исследования

Существует несколько инструментов, упрощающих работу исследователей. Эти программы могут самостоятельно разделять пользователей и отслеживать эффективность всех вариантов тестируемых страниц.

Google Marketing Platform (Google Optimize)

  • Цена: бесплатно.
  • Как подключить: добавить код в шапку сайта.

Самый популярный инструмент для проведения А/Б тестов. Он полностью бесплатный и может использоваться как на лендингах, так и на отдельной странице обычного сайта. Для подключения понадобится аккаунт Google Analytics.

Чтобы исследовать изменения на лендинге, используйте вариант «Эксперимент с переадресацией» — он будет показывать две разные версии сайта выделенным сегментам аудитории. В остальных случаях можно использовать вариант A/В тестирование.

Пример окна настройки для эксперимента с переадресацией
Пример окна настройки для эксперимента с переадресацией

Преимущества Google Marketing Platform

  • Бесплатный.
  • Понятный интерфейс.
  • Уведомления о важных изменениях приходят на привязанный адрес электронной почты.
  • Можно одновременно проводить несколько тестов.
  • Выбор процента трафика, который будет участвовать в исследовании.
  • Выбор целей из списка стандартных или настройка собственной.

Недостатки Google Marketing Platform

  • Не работает с рекламными объявлениями.
  • Не поддерживает анализ трафика.
  • Нет анализа конкурентов.
  • Нет многофакторной авторизации.

Optimizely

  • Цена: есть бесплатная версия для 1 сайта.
  • Как подключить: добавить код в контейнер <head> в шапке сайта.

Пример экрана настройки в Optimizely
Пример экрана настройки в Optimizely

Разработчики Optimizely пошли по пути улучшения одного продукта, а не расширения возможностей в разных направлениях. Поэтому эта программа подходит только для А/Б тестирования. Но у нее настолько простой и понятный интерфейс, что самым сложным будет добавить код в шапку сайта. Визуально он похож на графический редактор, в котором можно изменить любой элемент — цвет, текст, размер, расположение.

Для владельцев сайтов на движке WordPress все еще проще — в официальном магазине есть бесплатный плагин, который можно добавить на сайт и работать с ним через админку

Преимущества Optimizely

  • Работа с сайтами, рассылками, платформами данных.
  • Подробные отчеты в личном кабинете.
  • Точная сегментация аудитории.
  • Индивидуальные тарифы под потребности каждого отдельного бизнеса.

Недостатки Optimizely

  • Англоязычный интерфейс.
  • Нет двухфакторной аутентификации.

Visual Website Optimizer

  • Цена: есть демо-версия на 30 дней, но с ограничение по количеству пользователей (до 1000 посетителей). Платные тарифы от 59$.
  • Как подключить: добавить код в шапку сайта.

Пример окна с кампаниями в VWO
Пример окна с кампаниями в VWO

Сервис поддерживает сплит-тестирования на любой странице сайта. Может отслеживать навигацию, конверсии, таргетинг (15 параметров). У него тоже есть визуальный редактор, как и в Optimizely. Поддерживает интеграцию с Google Analytics.

Преимущества Visual Website Optimizer

  • Тестирование мобильной и десктопной версии сайта.
  • Настройка поведенческого таргетинга.
  • Создание тепловых карт.
  • Не нужно знание html.

Недостатки Visual Website Optimizer

  • Английский язык в интерфейсе.
  • Не поддерживает сегментацию аудитории.
  • В рамках бесплатного пакета доступен анализ только 1000 посетителей — этого недостаточно для проведения тестирования.

ABtasty

  • Цена: есть бесплатная демо-версия 30 дней. Дальше цена выдается по запросу — в зависимости от ниши и количества посетителей.
  • Как подключить: добавить код в шапку сайта.

Пример отчета в ABtasty
Пример отчета в ABtasty

Здесь тоже не требуется знание html для управления интерфейсом. Сделан удобный графический редактор, в котором можно вносить изменения любых элементов страницы. Сервис поддерживает проведение сплит-тестов, мультивариантных исследований, интеграцию с GA, имеет 7 критериев настройки таргетинга.

При объеме пользователей более 200 000 тарифы на использование рассчитываются индивидуально. Для сайтов на WP есть плагин ABtasty, который можно сразу встроить в сайт.

Преимущества ABtasty

  • Гибкость настройки — можно создать любой сценарий тестирования.
  • Точный таргетинг на определенный сегмент аудитории.
  • Формирование расширенных отчетов.

Недостатки ABtasty

  • Нет русскоязычной поддержки и русскоязычного интерфейса.
  • Меньше критериев настройки таргетинга, чем в аналогах.

Convert

  • Цена: есть бесплатная версия 15 дней. Платный тариф от 449 $.
  • Как подключить: добавить код в шапку сайта.

Пример отчета в Convert
Пример отчета в Convert

Здесь самые расширенные возможности таргетинга среди популярных сервисов — до 35 параметров. Convert поддерживает интеграцию с GA. Программа может применяться для проведения сплит-тестов, мультивариантных и мультистраничных исследований. Поддерживает работу с аудиторией до 1,2 млрд посетителей — это приблизительно 1/7 всего населения планеты.

Преимущества Convert

  • Гибкая настройка.
  • Проведение нескольких экспериментов сразу.
  • Отслеживание результатов в режиме реального времени.

Недостатки Convert

  • Нет русскоязычной поддержки.
  • Пробный период всего 14 дней.
  • Высокая стоимость платной подписки.

Changeagain

  • Цена: бесплатно для 1 сайта. Платная версия от 14 $/мес.
  • Как подключить: интеграция с встроенным счетчиком GA и добавление кода на сайт на период тестирования.

Пример начального экрана настройки Changeagain
Пример начального экрана настройки Changeagain

Этот сервис «дружит» c GA и может получать данные прямо из аккаунта аналитики. Его особенность — на сайте уже есть варианты проведения А/В тестирования, которые можно использовать в своей практике. Поддерживает проведение нескольких исследований одновременно.

Преимущества Changeagain

  • Высокая точность данных.
  • Можно перенести цели в свой счетчик GA и отслеживать их после проведения теста.
  • Работает даже с теми страницами, которые закрыты логином и паролем.

Недостатки Changeagain

  • Не всегда авторизация проходит с первого раза — почтовый клиент может блокировать доступ к сервису, считая его ненадежным.
  • Для мультивариантного тестирования придется покупать базовый или премиальный пакет — в начальном такой функции нет.

Распространенные ошибки в проведении исследования

  1. Исследование нескольких изменений. Если нужно повысить конверсию формы обратной связи и при этом вносятся изменения в содержание, цвет кнопок, текст, количество полей — как определить, что из этого сработало? Один элемент вызывает положительную динамику, а другой, наоборот, отрицательную. Результаты смазываются, тестирование получается недостоверным.
  2. Использование чужих гипотез. Учитывайте особенности каждого отдельного бизнеса, функционал сайта и т. д. На ресурсах отличается оптимизация, трафик, ЦА, а потому не все гипотезы будут работать одинаково.
  3. Неправильная продолжительность. Мы уже говорили, что нельзя заканчивать эксперимент раньше времени. Но и слишком надолго растягивать его тоже нельзя. Оптимально — 14 дней.
  4. Разовое проведение теста. Исследование может проводиться несколько раз подряд — тестировать новые гипотезы на основании предыдущих, дополнять изменения на сайте и проверять, какое из них лучше работает.
  5. Игнорирование внешних факторов. Поведение пользователей зависит от многих причин: сезонность, периоды распродаж, праздники и т.д. Из-за этого исследование может давать недостоверные показатели. Проводите тесты нейтральные периоды.
  6. Неправильный подбор инструментария. Большинство программ требует добавления стороннего кода на страницу. Это может замедлить загрузку и негативно сказаться на поведенческих факторах. Поэтому старайтесь выбирать те программы, которые не настолько сказываются на скорости загрузки страниц, и убирайте код после окончания эксперимента.
  7. Недостаточно полное отслеживание метрик. Если отслеживать только основной показатель, не учитывая при этом дополнительные, результат будет неполным. Учитывайте связанные показатели — их изменение может дополнить начальную гипотезу и дать материал для построения следующих.

Оценить статью
23 ответов

Комментарии 2

Julia Me
Написать комментарий
Отличная подборка анализаторских инструментов, вроде все так просто, но на практике стоит нелегкая задача для поднятия метрики сайта, качественную конверсию еще и сложно удержать.
Ответить
антон погребняк
Написать комментарий
Часто использую метод АБ теста, в принципе, его всегда и надо использовать, поскольку креативность креативностью, а поведение пользователя может быть непредсказуемым. Данные тесты часто дают понять наглядно моим клиентам, что "поиграть со шрифтом" не так суперски как кажется.
Ответить
Написать комментарий
Популярные статьи автора
Узнайте стоимость продвижения сейчас
Выберите удобный способ связи:
Выберите удобный способ связи:
Введите Ваш номер телефона:
Введите адрес Вашего сайта:
Введите Ваше имя:
Нажимая кнопку «Получить предложение» вы соглашаетесь с Политикой конфиденциальности.
Введите Ваш Email:
Введите адрес Вашего сайта:
Введите Ваше имя:
Нажимая кнопку «Получить предложение» вы соглашаетесь с Политикой конфиденциальности.
Оперативно отвечаем в рабочее время: с 10:00 до 19:00
Оперативно отвечаем в рабочее время: с 10:00 до 19:00
Вы уже проголосовали
Возьмем ТОП вместе?
Здравствуйте, меня зовут
,
я представляю компанию
.
Со мной можно связаться по телефону
Со мной можно связаться по тел.
,
или по email
ник в телеграм
Спасибо!
Нажимая кнопку «Оставить заявку» вы соглашаетесь с Политикой конфиденциальности.
Цена лидов в различных нишах
Тематика Стоимость лида (Москва/Россия)
Отдых 500
Мебель 350
Оборудование 500
Бансковские услуги 500
Безопасность 500
Организация мероприятий, концерты, праздники 500
Недвижимость 500
Строительство и отделка 500
Грузоперевозки 500
Доставка еды 350
Юридические услуги 500
Бухгалтерские услуги 500
Пластиковые окна 500
Детские товары 350
Автозапчасти 350
Образование 500
Возьмем ТОП вместе?
Здравствуйте, меня зовут
,
У меня есть сайт
.
Со мной можно связаться по телефону
Со мной можно связаться по тел.
,
или по email
ник в телеграм
Спасибо!
Нажимая кнопку «Оставить заявку» вы соглашаетесь с Политикой конфиденциальности.
Оставить заявку сейчас
Ваше имя*
Введите адрес Вашего сайта:*
Введите Ваш номер телефона:*
Введите Ваш e-mail:*
Введите Ваш ник в телеграм:
Выберите интересующую услугу *
Нажимая кнопку «Оставить заявку» вы соглашаетесь с Политикой конфиденциальности.
Подпишитесь на рассылку
Не пропустите самое интересное из мира SEO и Digital. Только актуальные и самые крутые статьи.
Заявка успешно отправлена!
Наши сотрудники уже приступили к анализу Вашего сайта. Наш менеджер свяжется с вами в течение дня, спасибо!