A/B тестирование: что это такое, этапы и инструменты

Изучение поведения пользователей на сайте помогает сделать интерфейс более удобным, повысить продажи и улучшить позиции сайта в выдаче. Одним из таких методов изучения является А/В тестирование.

Что такое A/B тестирование

A/B тестирование (сплит-тестирование, раздельный тест) — это метод исследования, при котором тестируется эффективность двух вариантов. Респонденты делятся на равные и однородные группы, а затем оценивается, какой из вариантов оказался более успешным.

Если коротко, все происходит так:

1. Выстраивается гипотеза, что изменение одного элемента страницы улучшит показатели.
2. Выбираются параметры для анализа — клики, конверсии и т.д.
3. Подключаются метрики — системы проведения оценки.
4. Проводится тест (10-14 дней).
5. Собираются и оцениваются результаты.

В ходе оценки измеряют, как влияет изменение одного параметра на эффективность — дочитывания, время пользователя на сайте, использование форм обратной связи и так далее.

Что можно исследовать сплит-методом

А/Б тестированием можно проверять любые элементы страницы:

• Кнопки: внешний вид, текст, расположение, размер.
• Заголовок и описания.
• Конверсионные формы: количество полей, текст, расположение.
• Макет страницы.
• Изображения.
• Количество текста.

Кому пригодится проведение A/B тестов

Навык проведения тестирования пригодится всем, кто взаимодействует с сайтами или приложениями:

• Вебмастерам.
• Администраторам сайтов.
• SEO-специалистам.
• Аналитикам.
• UX-писателям.
• UX-исследователям.
• Маркетологам.

Для проведения теста не нужно специальных навыков: достаточно обойтись пониманием интерфейса. Умение работать с кодом пригодится для тонкой настройки инструментов.

Читайте также:

Что такое web-аналитика, зачем она нужна, сервисы аналитики

Зачем нужно проведение A/B тестирования

У исследования есть первоначальная цель — улучшение показателей, оценка пользовательского опыта. При А/В исследовании посетители могут даже не знать, что они участвуют в тесте. Чаще всего он используется в таких целях:

• Улучшение юзабилити. Сюда можно отнести дополнение или упрощение функционала. Может проводиться в дополнение к коридорному тесту, как исследование «в полях».
• Персонализация коммуникации с пользователями. С этой целью чаще работают с текстами — на странице, кнопках, уведомлениях, формах обратной связи.
• Увеличение числа конверсий. Тут экспериментируют с формами подписки, кнопками, важными элементами страницы.
• Адаптация действующей системы под актуальные потребности аудитории. Тренды всегда меняются. То, что вчера вызывало восторг, уже сегодня может вызывать негатив у посетителей.
• Снижение числа отказов на сайте. Построение и проверка гипотез, что именно служит причиной: неудобная форма заказа, несоответствие ожиданиям аудитории и т. д. Если в ходе эксперимента показатели страницы улучшаются, можно использовать изменения на все аналогичные страницы.
• Минимизация рисков при внесении изменений. Главный плюс метода — продажи не теряются. Из выбранного количества посетителей половина будет видеть старую версию, а потому новые элементы (если они менее эффективны) не приведут к существенному уменьшению числа конверсий.

Читайте также:

Коммерческие SEO факторы ранжирования Яндекс и Google

Этапы A/B тестирования

Перед началом проведения сплит-теста стоит проверить, подходит ли он вам. Чтобы получить достоверные результаты, сайт должен иметь стабильный поток посетителей, регулярные конверсии, настроенные системы аналитики. Если это новый ресурс, выборка может быть недостаточно репрезентативной. Поэтому лучше проводить тест именно на тех сайтах, у которых уже есть поток посетителей — как новых, так и постоянных.

Само проведение можно разделить на несколько частей.

1. Построение гипотезы

На первом этапе проводится анализ ресурса. Здесь маркетолог определяет, что именно можно изменить и как это может сказаться на эффективности.

В идеале гипотезу формулируют на основании исследования пользовательского опыта — проведения интервью или коридорного тестирования, пятисекундного теста. Иногда в формировании гипотез помогает изучение отчетов из метрики: списка конверсий, карты скроллинга, карты кликов.

Также в гипотезе важно выделять, какой показатель должен измениться.

Дополнительно отслеживайте другие метрики — например, время пользователей на сайте. Это поможет в дальнейшем собрать более полную картину исследования.

В A/B-тестировании есть две основные гипотезы — нулевая и альтернативная. Нулевая гипотеза говорит, что между вариантами нет разницы, то есть изменения не дали эффекта. Например, если мы тестируем две кнопки, нулевая гипотеза утверждает, что обе кнопки работают одинаково. Альтернативная гипотеза — это противоположное утверждение: разница есть, и один вариант лучше другого.

Главная задача A/B-теста — не доказать, что новый вариант хорош, а проверить, можно ли опровергнуть нулевую гипотезу. Если мы её опровергаем, значит, изменения действительно работают. Это как в суде: сначала предполагаем, что человек невиновен (нулевая гипотеза), и только если есть веские доказательства, меняем решение.

Почему это важно? Потому что без такой проверки можно ошибиться и решить, что разница есть, когда на самом деле это просто случайность. Например, если неделю продажи росли, а потом упали, это не значит, что изменения сработали — возможно, просто повезло. A/B-тест помогает отделить реальный эффект от случайных колебаний.

Как это работает на практике? Мы заранее выбираем уровень значимости (обычно 5 %) — порог, после которого мы считаем разницу доказанной. Затем смотрим на p-value — вероятность получить такие же результаты, если нулевая гипотеза верна. Если p-value меньше 5 %, отвергаем нулевую гипотезу и принимаем альтернативную. Если больше — значит, разницы либо нет, либо тест ее не уловил.

Допустим, мы тестируем красную и зелёную кнопку. Если p-value = 0,03 (3 %), это меньше 5 %, значит, разница значимая и красная кнопка действительно лучше. Если p-value = 0,1 (10 %), разницы нет, или тест был слишком коротким.

Если нулевую гипотезу не удалось опровергнуть, это не всегда значит, что изменения бесполезны. Возможно, просто не хватило данных. В таком случае можно продлить тест, увеличить выборку или попробовать другие изменения.

Продвижение сайта по лидам

• Никаких абстрактных показателей эффективности SEO.
• Оплата продвижения только за совершенные целевые действия: заявки, звонки, оформление заказа, регистрация.

Подробнее

2. Подключение метрик

Выберите программу, с помощью которой будете проводить тестирование. Для подключения системы нужен доступ администратора сайта — код события нужно будет добавить в шапку на исследуемой странице.

В метриках выберите основные параметры проведения эксперимента:

• Длительность.
• Процент разделения аудитории — кто будет видеть версию «A», а кто будет видеть версию «B».
• Минимальный размер выборки — его можно вычислить с помощью калькулятора DriveBack.

Программа помогает рассчитать, сколько пользователей нужно для участия в эксперименте. Для этого нужно знать базовую конверсию и минимальный видимый эффект — относительную разницу в конверсии в сравнении с базовой. Чем она ниже, тем больше выборка потребуется.

3. Проведение теста

Стандартный срок выполнения исследования составляет 10-14 дней. Первую неделю называют «чистой». В это время статистика только начинает собираться, а пользователи — привыкать к изменениям. Даже если изначально определяется лидер, не нужно прерывать эксперимент.

4. Сбор результатов и формирование выводов

Итак, 14 дней прошли, время выгружать результаты.

Для оценки достоверности теста существуют специальные калькуляторы. Один из них — все тот же DriveBack, но уже другой его раздел — «Определение статистической значимости». На основании размера выборки и полученных результатов он помогает определить, можно ли считать результаты теста достоверными.

Пример: В тесте участвовало 10 000 посетителей, которых разделили на равные группы. Первая группа показала 35 конверсий, вторая — 55.

Вводим эти значения в калькулятор и получаем отчет о достоверности:

Если значения будут в рамках погрешности, калькулятор даст результат об отсутствии статистической значимости.

Также в анализе можно запросить отчет о достоверности результатов из Google Optimize. В норме достоверность должна составлять более 95 %. Этот показатель доступен уже во время исследования, но если в процессе сервис показывает более низкие значения, прерывать эксперимент не стоит.

Статистическая значимость в A/B-тестах — это способ понять, действительно ли разница между вариантами реальная или это просто случайность. Допустим, вы тестируете два варианта кнопки на сайте. Одна кнопка синяя, другая красная. После теста красная кнопка дала на 10 % больше кликов. Вопрос: это действительно потому, что красная лучше, или просто так случайно получилось?

Вот здесь и нужна статистическая значимость. Она работает как проверка: сначала мы предполагаем, что разницы нет (как я писал выше, это называется нулевая гипотеза). Потом смотрим, насколько вероятно получить такие результаты, если на самом деле разницы и правда нет.

Если p-value маленький (обычно меньше 5 %), значит, такие результаты вряд ли получились бы случайно. Тогда мы говорим: «Разница есть, и она значимая». Если p-value больше 5%, значит, разница могла получиться случайно, и мы не можем быть уверены.

Например, если красная кнопка дала +12 % кликов с p-value=0,03 (3 %), это значимо. А если p-value=0,07 (7 %), разница незначимая — возможно, это просто случайный всплеск.

Почему это важно? Потому что без такой проверки можно ошибиться. Может показаться, что изменение работает, хотя на самом деле это просто случайность — особенно если тест проводился недолго или на маленькой аудитории.

Чем больше данных в тесте, тем точнее можно определить значимость. Большие изменения (например, +50 %) заметить легче, чем маленькие (+2 %). Также важно дождаться конца теста — если постоянно заглядывать в промежуточные результаты, можно увидеть ложные всплески.

Статистическая значимость не говорит, насколько изменение хорошее, а только показывает, можно ли доверять разнице между вариантами. Это как медицинский тест: он не говорит, насколько вы больны, а только показывает, есть ли болезнь вообще.

Главное правило такое: если p-value 5% или меньше — разница значимая. Если больше — возможно, это случайность. Такой подход помогает принимать решения на основе данных, а не догадок.

5. Проверка дополнительных показателей

В постановке целей добавляют основную метрику, изменения которой будут отслеживаться. Как мы уже рекомендовали ранее, добавьте отслеживание дополнительных значений — их изменения тоже можно использовать в отчете и для составления дальнейших гипотез.

Расскажу о нескольких примерах из практики. Банальности вроде смены цвета кнопки рассказывать не буду, это и так все знают. Гораздо интереснее копнуть глубже в психологию пользователя и проверить неочевидные гипотезы, которые могут дать взрывной результат.

Например, клиент намеренно усложнил форму заявки, превратив её в пошаговый квиз; конверсия в заполнение формы снизилась, но итоговая конверсия в продажу выросла, так как отсеялись незаинтересованные пользователи.

Другой пример: на кнопке тестировали не призыв к действию («Зарегистрироваться»), а прямую выгоду («Получить бесплатный чек-лист»), и второй вариант показал себя значительно лучше.

Также часто проверяют гипотезу, где «живое» фото реальной команды вызывает больше доверия и конвертирует лучше, чем вылизанные стоковые изображения.

Елена Апухтина

Руководитель группы развития бизнеса

Комплексная веб-аналитика

• Позволяет видеть каждый источник трафика, его качество — процент конверсии по каждой кампании, группе объявлений, объявлению, ключевому слову.
• Даст понимание насколько качественный трафик дает каждый канал, стоит ли в него вкладываться или стоит ограничить.

Подробнее

Инструменты для проведения исследования

Существует несколько инструментов, упрощающих работу исследователей. Эти программы могут самостоятельно разделять пользователей и отслеживать эффективность всех вариантов тестируемых страниц.

Varioqub

Цены (2025):

• Бесплатный тариф – ограниченное число тестов.
• Профессиональный – от 5 000 ₽/мес (полный функционал).

Как подключить:

1. Вставить в шаблон JS-код.
2. Добавить тег через Google Tag Manager.
3. Использовать API (с userssplit).

Varioqub — это российский SaaS-сервис для A/B- и мультивариантного тестирования (МVТ) интерфейсов, лендингов и мобильных приложений.

Преимущества Varioqub

• A/B-тесты — сравнение двух версий страницы.
• Мультивариантные тесты (MVT) — проверка комбинаций элементов.
• Персонализация контента — показ разных вариантов для разных сегментов.
  No-code редактор — изменение элементов без программистов.
• Интеграции — Google Analytics, «Яндекс Метрика», CRM, API.
• Статистическая достоверность — автоматический расчет значимости результатов.

Недостатки Varioqub

• Бесплатная версия «Вариокуба» в «Яндекс Метрике» имеет ограниченный функционал, что затрудняет проведение сложных A/B-тестов.
• Для работы требуется установка кода на сайт, что может быть сложно для новичков.
• По сравнению с профильными сервисами, «Вариокуб» менее гибок: сложные эксперименты настраивать неудобно, особенно на нестандартных сайтах или множестве страниц.
• Интеграция только с «Яндекс Метрикой» — минус для тех, кто использует другие аналитические системы (например, Google Analytics). Глубокий анализ результатов также ограничен.

Читайте также:

Google Analytics для начинающих: самое полное руководство. Часть 1. Universal Analytics

Optimizely

• Цена: есть бесплатная версия для 1 сайта.
• Как подключить: добавить код в контейнер <head> в шапке сайта.

Разработчики Optimizely пошли по пути улучшения одного продукта, а не расширения возможностей в разных направлениях. Поэтому эта программа подходит только для А/Б тестирования. Но у нее настолько простой и понятный интерфейс, что самым сложным будет добавить код в шапку сайта. Визуально он похож на графический редактор, в котором можно изменить любой элемент — цвет, текст, размер, расположение.

Преимущества Optimizely

• Работа с сайтами, рассылками, платформами данных.
• Подробные отчеты в личном кабинете.
• Точная сегментация аудитории.
• Индивидуальные тарифы под потребности каждого отдельного бизнеса.

Недостатки Optimizely

• Англоязычный интерфейс.
• Нет двухфакторной аутентификации.

Visual Website Optimizer

• Цена: есть демо-версия на 30 дней, но с ограничение по количеству пользователей (до 1000 посетителей). Платные тарифы от 59$.
• Как подключить: добавить код в шапку сайта.

Сервис поддерживает сплит-тестирования на любой странице сайта. Может отслеживать навигацию, конверсии, таргетинг (15 параметров). У него тоже есть визуальный редактор, как и в Optimizely. Поддерживает интеграцию с Google Analytics.

Преимущества Visual Website Optimizer

• Тестирование мобильной и десктопной версии сайта.
• Настройка поведенческого таргетинга.
• Создание тепловых карт.
• Не нужно знание html.

Недостатки Visual Website Optimizer

• Английский язык в интерфейсе.
• Не поддерживает сегментацию аудитории.
• В рамках бесплатного пакета доступен анализ только 1 000 посетителей — этого недостаточно для проведения тестирования.

ABtasty

• Цена: есть бесплатная демо-версия 30 дней. Дальше цена выдается по запросу — в зависимости от ниши и количества посетителей.
• Как подключить: добавить код в шапку сайта.

Здесь тоже не требуется знание html для управления интерфейсом. Сделан удобный графический редактор, в котором можно вносить изменения любых элементов страницы. Сервис поддерживает проведение сплит-тестов, мультивариантных исследований, интеграцию с GA, имеет 7 критериев настройки таргетинга.

При объеме пользователей более 200 000 тарифы на использование рассчитываются индивидуально. Для сайтов на WP есть плагин ABtasty, который можно сразу встроить в сайт.

Преимущества ABtasty

• Гибкость настройки — можно создать любой сценарий тестирования.
• Точный таргетинг на определенный сегмент аудитории.
• Формирование расширенных отчетов.

Недостатки ABtasty

• Нет русскоязычной поддержки и русскоязычного интерфейса.
• Меньше критериев настройки таргетинга, чем в аналогах.

Читайте также:

Подробный гайд по оптимизации сайта на WordPress

Convert

• Цена: есть бесплатная версия 15 дней. Платный тариф от 449 $.
• Как подключить: добавить код в шапку сайта.

Здесь самые расширенные возможности таргетинга среди популярных сервисов — до 35 параметров. Convert поддерживает интеграцию с GA. Программа может применяться для проведения сплит-тестов, мультивариантных и мультистраничных исследований. Поддерживает работу с аудиторией до 1,2 млрд посетителей — это приблизительно 1/7 всего населения планеты.

Преимущества Convert

• Гибкая настройка.
• Проведение нескольких экспериментов сразу.
• Отслеживание результатов в режиме реального времени.

Недостатки Convert

• Нет русскоязычной поддержки.
• Пробный период всего 14 дней.
• Высокая стоимость платной подписки.

Changeagain

• Цена: бесплатно для 1 сайта. Платная версия от 14 $/мес.
• Как подключить: интеграция с встроенным счетчиком GA и добавление кода на сайт на период тестирования.

Этот сервис «дружит» c GA и может получать данные прямо из аккаунта аналитики. Его особенность — на сайте уже есть варианты проведения А/В тестирования, которые можно использовать в своей практике. Поддерживает проведение нескольких исследований одновременно.

Преимущества Changeagain

• Высокая точность данных.
• Можно перенести цели в свой счетчик GA и отслеживать их после проведения теста.
• Работает даже с теми страницами, которые закрыты логином и паролем.

Недостатки Changeagain

• Не всегда авторизация проходит с первого раза — почтовый клиент может блокировать доступ к сервису, считая его ненадежным.
• Для мультивариантного тестирования придется покупать базовый или премиальный пакет — в начальном такой функции нет.

Yandex Metrica («Яндекс Метрика») — основной бесплатный инструмент для сегментации трафика, отслеживания целей и проведения простых A/B-тестов на российских сайтах.

Google Optimize — до недавнего времени был популярен, но в 2023 году сервис закрыт, поэтому на российском рынке его заменяют локальные решения.

Елена Апухтина

Руководитель группы развития бизнеса

Распространенные ошибки в проведении исследования

1. Исследование нескольких изменений. Если нужно повысить конверсию формы обратной связи и при этом вносятся изменения в содержание, цвет кнопок, текст, количество полей — как определить, что из этого сработало? Один элемент вызывает положительную динамику, а другой, наоборот, отрицательную. Результаты смазываются, тестирование получается недостоверным.
2. Использование чужих гипотез. Учитывайте особенности каждого отдельного бизнеса, функционал сайта и т. д. На ресурсах отличается оптимизация, трафик, ЦА, а потому не все гипотезы будут работать одинаково.
3. Неправильная продолжительность. Мы уже говорили, что нельзя заканчивать эксперимент раньше времени. Но и слишком надолго растягивать его тоже нельзя. Оптимально — 14 дней.
4. Разовое проведение теста. Исследование может проводиться несколько раз подряд — тестировать новые гипотезы на основании предыдущих, дополнять изменения на сайте и проверять, какое из них лучше работает.
5. Игнорирование внешних факторов. Поведение пользователей зависит от многих причин: сезонность, периоды распродаж, праздники и т.д. Из-за этого исследование может давать недостоверные показатели. Проводите тесты нейтральные периоды.
6. Неправильный подбор инструментария. Большинство программ требует добавления стороннего кода на страницу. Это может замедлить загрузку и негативно сказаться на поведенческих факторах. Поэтому старайтесь выбирать те программы, которые не настолько сказываются на скорости загрузки страниц, и убирайте код после окончания эксперимента.
7. Недостаточно полное отслеживание метрик. Если отслеживать только основной показатель, не учитывая при этом дополнительные, результат будет неполным. Учитывайте связанные показатели — их изменение может дополнить начальную гипотезу и дать материал для построения следующих.

Самая частая ошибка при тестах — тестирование нескольких изменений одновременно, что не позволяет понять, какой именно элемент повлиял на результат.

Также к неверным выводам приводит слишком короткий период теста, не учитывающий поведение пользователей в разные дни недели. Аналогично как и недостаточное или не статистически значимое количество трафика.

Многие ошибочно подглядывают за конкурентами, внедряя чужие удачные решения без проверки гипотез на своей аудитории.

Наконец, критической ошибкой является игнорирование внешних факторов, таких как сезонность или рекламные акции, которые искажают данные.

Елена Апухтина

Руководитель группы развития бизнеса

Коротко о главном

• A/B-тестирование — метод сравнения двух версий страницы (A и B) для определения, какая лучше конвертирует.
• Сначала появляется гипотеза – предположение, например: «Зеленая кнопка увеличит клики». Затем идет настройка метрик — выбор инструментов (Google Optimize, VWO и др.). После этого делается запуск теста — длительность 10–14 дней. И в конце проводится анализ результатов – проверка статистической значимости (p-value < 5%).
• Необходимо тестировать текст, кнопки, изображения, формы, макет.
• Не стоит тестировать несколько изменений сразу, слишком короткий/длинный тест, игнорирование внешних факторов (сезонность).
• Инструменты: VWO, Optimizely, AB Tasty, Varioqub.