Принимать результаты a b тестирования. AB test: как его проводить и что для этого нужно. Как и когда я могу интерпретировать результаты сплит-тестирования

(сплит-тестирование, A/B testing, Split testing) на сайте - это маркетинговый метод, который заключается в наблюдении за контрольной (А) и тестовыми (В) группами элементов - страницами сайта, отличающимися лишь некоторыми показателями, с целью увеличения конверсии сайта. Страницы показываются посетителям поочередно в равных долях, и после достижения нужного числа показов по полученным данным определяется наиболее конверсионный вариант.

Этапы A/B-тестирования

В целом весь процесс A/B-тестирования можно представить в виде 5 шагов:

Шаг 1. Постановка цели (бизнес-цели, конверсия, цели на сайте)

Шаг 2. Фиксирование исходных статистических данных

Шаг 3. Настройка тестирования и сам процесс

Шаг 4. Оценка результатов и внедрение наилучшего варианта

Шаг 5. Повторение эксперимента на других страницах или с другими элементами при необходимости

Продолжительность тестирования

Длительность проведения эксперимента зависит от имеющегося трафика на сайте. Показателя конверсии, а также различий в тестируемых вариантах. Многие сервисы автоматически определяют продолжительность. В среднем, достаточно 100 конверсионных действий на сайте и занимает порядка 2-4 недель.

Страницы для тестирования

Для тестирования можно выбрать любую страницу сайта, важную с точки зрения конверсии. Чаще всего это главная, страницы регистрации/авторизации, страницы воронки продаж. При этом лучше обратить внимание на следующие моменты:

1. Самые посещаемые страницы сайта
2. Страницы с дорогими визитами
3. Страницы с отказами

Первое необходимо для чистоты эксперимента, второе и третье для выявления слабых мест на сайте.

Чаще всего для тестирования выбирают кнопки, текст, слоган-призыв к действию и layout страницы в целом. Для выбора элемента можно воспользоваться следующим алгоритмом действий:

• Выдвигается гипотеза о поведении посетителя
• Предлагается решение по изменению элементов (лучше брать 1-2, не более)

1. Добавить слово «Бесплатно»
2. Разместить объясняющее видео
3. Приклеить кнопку регистрации к верху страницы
4. Сократить количество полей в заявке
5. Добавить счетчик специального предложения
6. Добавить бесплатную пробную версию
7. Изменить цвета кнопок или текст на них

Автоматизация тестирования

Существует несколько платных и бесплатных инструментов для автоматизации процесса тестирования с различным набором функций. Большой список можно посмотреть . Наиболее популярным можно назвать эксперименты в Google Analytics . Он является бесплатным, русифицирован, легок в освоении, и если на сайте установлен счетчик, то не потребуется ждать сбора начальных данных и запустить эксперимент можно всего в пару кликов.

A/B-тестирование средствами Google Analytics

Рассмотрим процесс создания теста в Google Analytics. Для этого необходимо зайти на вкладку Отчеты->Поведение->Эксперименты. Введите урл тестируемой страницы и нажмите «Начать эксперимент».

Следующим шагом потребуется заполнить поля: название эксперимента, цель (можно выбрать из настроенных целей для сайта), охват посетителей сайта для эксперимента (лучше ставить 100%).

На втором шаге потребуется указать адреса основной (контрольной) страницы и ее вариантов.

Если все выполнено корректно, то система даст зеленый свет на запуск тестирования.

Результат эксперимента очень наглядный и может выглядеть так:

Вопреки общепринятому мнению (ведь создаются дубли страниц), негативного влияние на позиции сайта такое тестирование не оказывает. Достаточно на альтернативных страницах прописать rel=”canonical”.

Важное об A/B-тестировании

1. Тестовые варианты страниц не должны отличаться более, чем 2-мя элементами
2. Трафик между страницами должен распределяться равновероятно
3. Делая настройки, выберите новых посетителей сайта
4. О результатах можно судить лишь по широкой выборке, желательно не меньше 1000 человек
5. Делайте оценку результатов в одно время
6. Не стоит доверять себе, не все пользователи думают так, как вы, поэтому ваш предпочтительный вариант может оказаться далеко не выигрышным.
7. Результаты A/B-тестирования не всегда могут приносить желаемых результатов по увеличению конверсии. Значит надо экспериментировать с другими элементами.

A/B-тестирование, также известное как сплит-тестирование, является одним из наиболее эффективных способов прийти к измеримым (и научно обоснованным) улучшениям вашего сайта. На практике это выглядит так: разрабатываются две версии контента - например, для посадочной страницы - и две таких страницы одновременно запускаются для одинаковых по размеру аудиторий, чтобы выяснить, какая из них работает лучше. Такой тест, выполненный должным образом, показывает, какие изменения помогут увеличить конверсию.

Вопросы о том, как запустить и успешно провести A/B-тестирование, возникают у многих. Здесь собраны наиболее популярные вопросы и ответы на них.

1. Когда А/В-тестирование является хорошей/плохой идеей?

Чаще всего такие тестирования проваливаются потому, что за ними нет четких целей, - поэтому нужно знать, что вы тестируете. Например, используйте такой тест для проверки теории: поможет ли эта картинка увеличить конверсию, если добавить ее на посадочную страницу? Люди более склонны нажимать на синюю или на красную кнопку? Что будет, если поменять заголовок, подчеркнув, что срок действия предложения ограничен? Эффект от всех этих изменений вполне можно измерить.

Люди сталкиваются с большими проблемами при запуске А/В-тестирований, когда цель их слишком расплывчата, - к примеру, таким может оказаться тестирование двух вариантов дизайна со множеством отличий. Это может тянуться долго, пока не определится безоговорочный победитель, и при этом могут быть сделаны неточные выводы, появится неуверенность насчет того, что же все-таки вызвало увеличение конверсии.

2. Сколько вариантов должно быть в A/B-тестировании?

Предположим, вы хорошо поработали, и у вас есть четыре невероятных идеи дизайна для посадочной страницы. Конечно, хотелось бы запустить все четыре варианта сразу и определить победителя, но подобный одновременный запуск уже никак нельзя будет считать А/В-тестированием. Ряд факторов из каждого варианта может замусорить прозрачные воды результатов, если так можно выразиться. Прелесть правильного А/В-тестирования в том, что его результат достоверен и конкретен.

3. Что такое нулевая гипотеза?

Нулевая гипотеза - это гипотеза о том, что разница в результатах является следствием ошибки выборки или стандартных колебаний. Подумайте о подбрасывании монетки. Хотя шансы, что она приземлится на «орла», равны 50/50, иногда на практике они составляют 51/49 или еще какое-то зависящее от случая отношение. Однако чем больше вы подбрасываете монетку, тем ближе вы в итоге подходите к результату 50/50.

В статистике правильность или неправильность идеи доказывается оспариванием нулевой гипотезы. В нашем случае оспаривание этой гипотезы - проведение тестирования в течение достаточно продолжительного времени для исключения случайных результатов. Это также называют достижением статистической значимости.

4. Сколько посещений страницы нужно для хорошего результата А/В-тестирования?

Перед проверкой результатов А/В-теста, вам следует убедиться, что он достиг статистической значимости - некоторой точки, после которой можно быть на 95 и более процентов уверенным, что результат верный.

Хорошо, что во многие инструменты для тестирования уже встроен счетчик статистической значимости: с его помощью вам будет дан сигнал, когда результаты теста будут готовы для интерпретации. Если же такого счетчика нет, можно воспользоваться одним из множества бесплатных калькуляторов и инструментов для вычисления статистической значимости.

5. Что такое многомерное тестирование и чем оно отличается от A/B-тестирования?

A/B-тесты обычно применяются для определения одного эффективного решения при редизайне для достижения определенной цели (например, увеличения конверсии). Многомерное тестирование, как правило, используется для проверки небольших изменений в течение более длительного периода времени. Оно охватывает несколько элементов сайта и проверяет все возможные комбинации этих элементов для непрерывной оптимизации. Эксперт компании HubSpot Кори Эридон (Corey Eridon) объясняет различия в использовании того или иного тестирования:

«A/B тестирование - замечательный метод, если вам нужны быстрые значимые результаты. Поскольку изменения от страницы к странице отчетливо видны, будет легче сказать, какая страница наиболее эффективна. Это также правильный выбор, если у вашего сайта небольшой трафик.

А вот для корректных результатов в многомерном тестировании вам нужен сайт с высокой посещаемостью, так как в таком тестировании проверяются несколько различных изменяющихся элементов.

Если же трафика для многомерного тестирования у вас достаточно (хотя даже при этом вы можете воспользоваться А/В-тестами для проверки новых дизайнов и макетов), лучше всего проводить его тогда, когда вы хотите сделать на странице едва уловимые изменения, понять, как определённые элементы взаимодействуют друг с другом и постепенно усовершенствовать существующий дизайн».

6. Правда ли, что A/B-тестирование негативно влияет на SEO?

Существует миф, что А/В-тесты снижают рейтинг сайта в поисковых системах, поскольку могут классифицироваться как дублированный контент (а на него поисковики, как известно, реагируют не очень дружелюбно). Однако это совершенно не так - при правильном подходе к тестированию. На самом деле Мэтт Каттс (Matt Cutts) из Google советует запускать сплит-тестирования для улучшения функциональности вашего сайта. У Website Optimizer также есть хорошее опровержение этого мифа, например.

Если вы все еще убеждены в обратном, вы всегда можете добавить тег noindex на один из вариантов страницы. Ознакомьтесь с подробной инструкцией по добавлению такого тега.

Примечание главного редактора. Недавно Google опубликовала по предотвращению отрицательного влияния A/B-тестов на позиции сайта в результатах поиска Google.

7. Как и когда мне можно интерпретировать результаты сплит-теста?

Тест запускается. Начинают накапливаться данные. И вы хотите выяснить, кто же становится победителем. Но ранние стадии - неподходящее время для интерпретации результатов тестирования. Подождите, пока ваш тест достигнет статистической значимости (см. п. 4) и затем вернитесь к вашей первоначальной гипотезе. Окончательно ли тест подтвердил или опроверг ваши предположения? Если да, вы можете делать некоторые выводы. Анализируя тестирование, не спешите приписывать его результаты конкретным изменениям. Убедитесь, что между изменениями и результатом прослеживается четкая связь и что здесь не примешивается влияние каких-либо факторов.

8. Сколько изменяющихся элементов следует тестировать?

Вам нужен тест с убедительными результатами, вы тратите на него свое время и поэтому, наверняка, хотите получить в итоге четкий ответ. Проблема одновременного тестирования нескольких изменений в том, что вы не сможете точно определить, какое из них принесло больше пользы. То есть вы, конечно, можете сказать, какая из страниц в целом работает лучше, но если на каждой из них тестируются три или четыре изменяющихся элемента, вы не узнаете, какой именно элемент вредит странице, и не сможете внедрить полезные элементы на другие страницы. Наш совет: проведите серию базовых тестов, каждый раз внося какое-то одно изменение, чтобы путем перебора постепенно прийти к наиболее эффективному варианту страницы.

9. Что мне следует тестировать?

• Призывы к действию. Даже рассматривая один этот элемент, можно протестировать несколько разных вещей. Просто убедитесь, что вы понимаете, какой конкретно аспект призыва к действию хотите проверить. Можно тестировать сам текст призыва: к чему он подталкивает того, кто его просматривает? Можно тестировать расположение: где на странице лучше всего разместить призыв? Можно тестировать также форму и стиль: как это смотрится?
• Заголовок. Это обычно первое, что посетитель читает на вашем сайте, так что потенциал для воздействия здесь значительный. Попробуйте разные стили заголовков в вашем A/B-тестировании. Убедитесь в том, что разница между каждым заголовком ясна, и что это не просто бездумная переделка одного и того же. Это нужно для того, чтобы точно знать, что именно вызвало изменения.
• Изображение. Что более эффективно? Изображение человека, использующего ваш продукт, или продукта самого по себе? Испробуйте различные варианты страниц с разными вспомогательными изображениями и понаблюдайте, будет ли разница в действии.
• Длина текста. Поможет ли его сокращение сделать сообщение более ясным? Или вам наоборот нужно больше текста, чтобы объяснить суть предложения? Пробуя различные версии основного текста, вы можете определить, какое количество разъяснений необходимо читателю перед конверсией. Чтобы этот тест работал, старайтесь использовать тексты примерно одинакового содержания, изменяя лишь их объем.

10. Можно ли с помощью A/B-тестирования проверять что-то кроме веб-страниц?

Конечно! В дополнение к посадочным страницам и веб-страницам многие маркетологи применяют А/В-тесты для электронных почтовых ящиков, PPC-кампаний (pay per click) и призывов к действию.

• Электронная почта. Здесь тестируемыми изменяющимися элементами могут быть тема письма, приемы персонализации, имя отправителя.
• PPC-кампании. Во время таких кампаний можно применить А/В-тестирование к заголовку, основному тексту, тексту ссылок и ключевым словам.
• Призыв к действию. Здесь можно поэкспериментировать с текстом призыва, его формой, цветовым оформлением и расположением на странице.

11. Как мне найти примеры A/B-тестирования от аналогичных компаний?

Есть ряд сайтов, на которых собраны примеры и результаты А/В-тестирований. Некоторые позволяют выполнять поиск по типу компании и большинство предоставляют подробную информацию о том, как компания интерпретировала результаты теста. Если вы только начинаете заниматься A/B-тестами, вам будет полезно почитать информацию на некоторых из этих сайтов, чтобы понять, что необходимо протестировать именно вашей компании.

• WhichTestWon.com. На этом сайте есть несколько примеров, а также проводятся некоторые ежегодные конкурсы, на которых вы можете представить и свои тестирования.
• Visual Website Optimizer предлагает программное обеспечение для А/В-тестирования. В блоге компании есть несколько примеров, на которых вы могли бы поучиться.
• ABTests.com. Этот сайт больше не обновляется, но там есть хороший архив A/B-тестов.

12. Что мне делать, если я не доверяю результатам?

Если вы действительно не доверяете итогам и исключили любые ошибки или проблемы, связанные с валидностью теста, лучшее, что можно сделать, - запустить тот же тест снова. Относитесь к нему как совершенно отдельному тестированию и понаблюдайте, сможете ли вы повторить результат. Если он повторяется снова и снова, вероятно, ему можно доверять.

13. Как часто следует запускать A/B-тестирование?

На вашем сайте всегда есть возможность что-то тестировать. Просто убедитесь, что каждый тест имеет четкую цель и приводит к появлению более функционального сайта для ваших посетителей и компании. Если вы запускаете много тестов, а в результате имеете минимальный эффект и незначительные победы, пересмотрите свою стратегию тестирования.

14. Что нужно, чтобы начать A/B-тестирование на сайте?

Лучший способ запустить A/B-тестирование - использовать специальное программное обеспечение: например, Visual Website Optimizer , HubSpot , Unbounce . Если вы не против повозиться немного с кодом, у Google также имеется бесплатный инструмент под названием Content Experiments в Google Analytics. Это немного отличается от традиционного A/B-тестирования, но если вы технически продвинуты, стоит попробовать этот инструмент.

15. Какие существуют ловушки в плане валидности помимо размера выборки?

В прошлом году компания MECLABS составила коллекцию угроз валидности теста. Здесь доктор Флинт Макглафлин (Flint McGlaughlin) рассматривает ошибки тестирований и то, как снизить риск столкновения с ними в ваших тестах. Рекомендуем читать полный текст , но все же приведем пару ошибок из списка:

• Во внешнем мире происходит что-то, что вызывает негативные смещения в результатах теста.
• Ошибка в программном обеспечении для тестирования подрывает его результаты.

16. Нужно ли проводить А/B-тестирование главной страницы сайта?

Задача разработки действенного теста для испытания главной страницы может оказаться очень трудной. Трафик на этой странице очень переменчив, ведь туда заходят все - от случайных посетителей до потенциальных клиентов и реальных покупателей. Кроме того, на главной странице обычно присутствует огромное количество контента, так что может быть сложно на протяжении одного теста определить, что заставляет посетителей действовать или не действовать.

Наконец из-за того, что на вашу домашнюю страницу заходят совершенно разные посетители, определить конкретную цель теста и страницы может быть проблематично. Вы можете, предположим, задаться целью протестировать конверсии, но если тестовый вариант страницы будут больше посещать не потенциальные, а реальные покупатели, ваши цели для этой группы могут измениться.

Если вы все-таки хотите тестировать домашнюю страницу, займитесь тестами призывов к действию.

17. Что если у меня нет контрольной версии страницы?

Контрольная версия - это существующий вариант веб-страницы, в противововес которому вы обычно выдвигаете новые варианты. Возможно, вы также захотите протестировать две версии страницы, ранее не существовавшие. И это вполне нормально. Просто назовите одну из них контрольной. Постарайтесь выбрать ту, которая по дизайну наиболее похожа на уже имеющуюся страницу, а другую используйте в качестве варианта.

18. Почему результат A/B-тестирования не всегда равен 50/50?

Иногда при проведении А/В-теста вы можете заметить, что на разных версиях страниц неодинаковый трафик. Это не означает, что с тестом что-то не так, просто случайные отклонения проявляются случайно. Вспомните о подкидывании монетки. Шансы орла и решки равны 50/50, но иногда решка, например, выпадает 3 раза подряд. Однако, чем выше посещаемость вашей страницы, тем ближе должны быть результаты теста к 50/50.

Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Если в детстве вы любили разбирать на части машинки с моторчиком или смешивать все жидкости, которые были в доме, то эта статья для вас. Сегодня разбираемся с A/B тестированием сайта и выясняем, почему в умелых руках оно превращается в мощное оружие. Откапываем в глубинах сознания дух экспериментатора, стряхиваем с него пыль и читаем.

Что это такое – А/Б тестирование сайта?

Если вкратце, то это метод оценки эффективности двух вариантов одной и той же страницы. Например, есть два дизайна карточки товара и оба они настолько круты, что вы даже спать и есть не можете. Логичный выход – проверить, какой вариант работает лучше. Для этого половине посетителей показывается вариант №1, а половине – вариант №2. Побеждает тот, кто лучше справляется с поставленными задачами.

Это не единственный способ применения А/Б (или сплит) тестирования сайта. С его помощью можно проверять сумасшедшие гипотезы, удобство новой структуры страницы или разных вариантов текста.

Как проводится A/B тестирование сайта

Постановка задачи

Сначала нужно определиться с целью. Поймите, чего вы хотите добиться: увеличения конверсии, времени пребывания на сайте или снизить процент отказов. Если с целями и задачами все ОК, меняйте контент или дизайн, опираясь на них. Например, можно пойти по пути всех growth-хакеров и изменить расположение и дизайн кнопки «Купить». Сейчас она висит слева внизу и вы хотите посмотреть, что будет, если поменять ее внешний вид и передвинуть кнопку выше и правее.

Техническая реализация

Здесь все просто – либо создается отдельная страница, на которой меняется только объект тестирования, либо программист применяет магию и реализует все в рамках одного документа.

Подготовка контрольных данных

Страница переделана и все готово к запуску теста. Но сперва нужно измерить исходные показатели конверсии и всех остальных параметров, которые мы будем учитывать. Исходному варианту страницы присваиваем имя «A», а новому – «B».

Тест

Теперь нужно случайным образом разделить трафик пополам. Половине пользователей показывается страница A, а остальным – B. Для этого можно воспользоваться специальными сервисами (их очень много) или сделать все руками программиста.

При этом важно, чтобы «состав» трафика был одинаковым. Эксперимент не будет объективным, если всем пользователям, пришедшим по клику на контекст будет доступен только первый вариант, а всем посетителям из социальных сетей – только второй.

Анализ

Теперь нужно ждать, пока наберется достаточно статистики и сравнить результаты А/Б тестирования. Сколько именно придется ждать, зависит от популярности сайта и некоторых других параметров. Выборка должна представлять статистическую значимость. Это значит, что вероятность случайности результата должна быть не выше 5%. Пример: Допустим, на обеих страницах одинаковое количество визитов – по тысяче. При этом у страницы A 5 целевых действий, а у страницы B – 6. Результат отличается слишком незначительно, чтобы говорить о закономерности, поэтому он не годится.

Большинство специальных сервисов сами рассчитывают, порог статистической значимости. Если делаете все руками, можете воспользоваться калькулятором .

Выработка решения

Как поступить с результатами теста – решать вам. Если новый подход сработал, можно оставить его на сайте новый вариант страницы. При этом не обязательно останавливаться на достигнутом, особенно если вы видите, что потенциал для роста показателей еще остался. В этом случае оставляйте на сайте вариант B и готовьте новое тестирование.

Как сделать A/B и сплит-тестирование объективным

Снизить влияние внешних факторов. Мы уже немного затронули эту тему – нужно проводить тест в один и тот же период времени, а источники трафика должны быть одинаковыми для обеих страниц. Если не позаботиться о равных условиях, то получите нерепрезентативную выборку. Люди из поиска ведут себя на странице не так, как посетители из группы в «Фейсбуке» или «Вконтакте». То же самое с объемом трафика – он должен быть примерно одинаковым.

Минимизировать влияние внутренних факторов. Это актуально для сайтов крупных компаний – на статистику могут сильно влиять сами сотрудники фирмы. Они заходят на сайт, но не совершают никаких целевых действий. Поэтому их нужно исключить из статистики. Для этого нужно установить фильтр в системах веб-аналитики.

Плюс, есть довольно очевидная вещь, про которую иногда забывают. Тестировать нужно один элемент. Если вы поменяли сразу пол-страницы, но при этом полного редизайна сайта не было, результаты эксперимента не будут валидными.

Влияет ли A/B тестирование сайта на SEO?

Есть популярный миф, что А/Б тестирование может выйти боком, потому что из-за дублирования страниц можно попасть под фильтры поисковиков. Это неправда. Google даже рассказывает , как сделать все правильно и дает для этого специальные инструменты.

Что и как можно улучшить с помощью A/B тестирования

• Конверсию. Самый популярный вариант. Даже незначительное изменение страницы может повлиять на показатель конверсии. При этом целевым действием может считаться и покупка, и регистрация, и просмотр какой-либо страницы, и подписка на рассылку, и переход по ссылке.
• Средний чек. В этом случае часто тестируют новые блоки дополнительных продаж: «похожие товары» и «с этим товаром часто покупают».

• Поведенческие факторы. К ним относят глубину просмотра, среднее время на сайте и отказы.

Обычно пробуют менять:

• Дизайн кнопок «Купить», «Оставить заявку».
• Контент страницы: заголовки, описание продукта, изображения, призывы к действию и все остальное.
• Расположение и внешний вид блока с ценами.
• Структуру страницы.
• Расположение, структуру и дизайн формы заявки.

В принципе, сработать может что угодно, точно сказать, как повысить конверсию или средний чек не сможет ни одна Ванга. Рекомендаций куча, но учесть их все просто нереально, да и сработать они могут с противоположным эффектом. А иногда к улучшению показателей приводят совсем нелогичные вещи, например, отказ от развернутого описания товаров. Пробуйте разные подходы и варианты, это же тест.

Инструменты для A/B тестирования сайта

Их просто куча, поэтому мы выбрали самые лучшие. Все они англоязычные и поэтому дорогие, но у каждого есть бесплатный пробный период. В России что-то подобное делает только lpgenerator.ru, но тестировать там можно только лендинги, созданные в конструкторе сервиса. Свою страничку загрузить не получится.

Optimizely.com

Один из самых популярных сервисов. Умеет тестировать все и в любых комбинациях. Из других плюсов: возможность мультиканального тестирования, эесперименты с мобильными приложениями, удобные фильтры результатов, таргетинг, визуальный редактор и немножко веб-аналитики.

Changeagain.me

Достаточно удобный сервис, главное преимущество – простая и полная интеграция с Google Analytics: цели можно создавать прямо в сервисе, а они потом автоматически подгружаются в систему. Остальные функции более-менее стандарны: простой визуальный редактор, таргетинг по устройствам и странам. конкретный набор зависит от тарифного плана..

ABtasty.com

Этот сервис отличается большим пробным периодом – он длиться аж 30 дней, вместо стандартных 14-15-ти. Плюс, инструмент интегрируется в WordPress, Google Analytics и несколько других сервисов, которыми пользуются забугорные маркетологи и веб-мастера. Из дополнительных плюсов: удобный интерфейс и детальный таргетинг.

Как провести A/B тестирование через Google Analytics

Для этого нужно зайти в свой аккаунт, открыть меню отчета, досскроллить до вкладки «Поведение» и в ней нажать «Эксперименты». Там все предельно просто.

Даем эксперименту имя, распределяем трафик по страницам в нужной пропорции, выбираем цели и переходим к следующему этапу – детальной настройке.

Там задаются адреса страниц A и B. Если поставить галочку «Унификация вариантов для других отчетов по содержанию», то в остальных отчетах показатели всех вариантов будут учитываться как показатели исходной страницы.

После этого Analytics выдаст код, который нужно разместить на странице A и запустить эксперимент. Отчеты по эффективности можно будет увидеть в том же меню «Эксперименты».

Как настроить «Яндекс Метрику» для A/B тестирования

Работа делится на две части. Сначала нужно либо создать две страницы, либо настроить одну на показ пользователю двух разных типов элементов. Как это сделать – тема для отдельной большой статьи, поэтому ее, пока что, обойдем

После этого нужно передать в метрику информацию о том, какой вариант сайта увидел пользователь. Небольшую инструкуцию дает сам «Яндекс» . Для нам нужно создать параметр А/Б тестирования и присвоить ему нужное значение. В случае с кнопкой мы определяем параметр как:

var yaParams = {ab_test: "Кнопка1" };

или

var yaParams = {ab_test: "Кнопка2" };

После этого параметр передается в «Метрику» и его можно использовать для формирования отчета по «параметрам визитов».

Итоги

А/Б (или сплит) тестирование сайта – это важный, нужный и почти обязательный инструмент. Если регулярно проверять новые гипотезы, эффективность страницы можно вывести на новый уровень. Но нельзя сказать, что усилий для этого нужно минимум. Чтобы просто поменять расположение или цвет кнопки придется подключить к делу программиста или дизайнера, пусть это и не займет много времени. Плюс, любое предположение может оказаться ошибочным. Но кто не рискует, тот не получает возросший поток заявок и не бегает по офису счастливым.

Оригинальная публикация: http://quality-lab.ru/a-b-testing/

Введение

Эмоции управляют людьми, а управление эмоциями людей – мечта каждого маркетолога. Как правило, все нововведения основаны на субъективном «мне кажется, что так будет красивее/удобнее». Гораздо реже под конкретное изменение проводится анализ мнения клиентов. Надеяться на субъективную оценку маркетолога можно, но рискованно. Собирать фокус-группу – затратно. Просто ввести изменение и посмотреть, что же произойдет по прошествии определенного времени, – не научно.

Так как же все-таки определить пользу изменений без потери клиентов и времени? Этот вопрос решает A/B тестирование. Его использование ведет к увеличению трафика клиентов и степени конверсии сайта, к росту количества продаж, кликов и лайков.

Что это такое?

Определение из Wiki:
A/B-тестирование (англ. A/B testing, Split testing) – метод маркетингового исследования. Суть метода заключается в том, что контрольная группа элементов сравнивается с набором тестовых групп (в которых один или несколько показателей были изменены) для того, чтобы выяснить, какие из изменений улучшают целевой показатель. Разновидностью A/B-тестирования является многовариантное тестирование. В этом случае тестируются не два целостных варианта, а сразу несколько элементов продукта или составных частей исследуемого объекта в различных сочетаниях, при которых каждый тестируемый элемент может быть двух видов (A или B).

Проще говоря, весь поток людей на сайте разбивается на две группы. Одной группе отображается главная страница, к примеру, с кнопкой Sign up (Вариант А). Второй группе – та же страница, но с кнопкой Sign up for free (Вариант В). Тестирование проводится сессионно. В конце каждой сессии подводится итог и вычисляется вариант-победитель. Пример же многовариантного A/B тестирования приведен на схеме:

Как тестировать?

Представим себе ситуацию: онлайн-банку нужно было увеличить количество заявок на кредитование физических лиц. На сайте уже существовал баннер с призывом заполнить заявку, но маркетологи предложили его доработать. В отдел тестирования были переданы два макета для проведения A/B тестирования:

Прежде всего, в отделе тестирования определились с инструментами, позволяющими зафиксировать статистику и проанализировать результат. В сети можно найти с десяток платформ для проведения A/B тестирования, среди которых наиболее популярны следующие:

Все они по-своему удобны и содержат достаточное количество функций для того, чтобы стать незаменимым помощником при проведении А/В тестирования. Выбор наших тестировщиков пал на бесплатный Google Content Experiment (данное решение входит в состав Google Analytics и умеет самостоятельно определять победителя).

С помощью данной платформы был создан эксперимент для тестирования на сайте банка. Для получения корректных результатов необходимо было провести несколько сессий тестирования длительностью в две недели. В первую сессию тестировщики получили неоднозначный результат (конверсия в двух вариантах была почти равна, поэтому определить победителя A/B тестирования не удалось). После серии подобных экспериментов, тестировщикам все-таки удалось получить четкий результат тестирования: победил второй вариант баннера (с фотографией семьи). Возможно, это было связано с тем, что последняя сессия пришлась на новогодние каникулы: ЦА была лояльнее и дружелюбнее.

Итог истории: если раньше заявку на кредит подавали 2 из 10 просмотревших баннер, то теперь – 4 из 10.

Возвратимся к инструментам A/B тестирования. Для инструментов, которые не умеют определять победителя, итоги сессии А/В тестирования можно обработать вручную или при помощи калькулятора. При ручной обработке необходимо учесть соотношение конверсии к числу посещений сайта. Это трудоемкий процесс, который потребует от вас сосредоточенности и точности; он может затянуться на несколько часов. Намного удобнее воспользоваться готовым решением – калькулятором: вам достаточно будет ввести результаты тестирования и получить вариант-победитель. Почти все калькуляторы для A/B тестирования англоязычные, но есть и