Марат-блог
Услуги по продвижению и разработке сайта
Отправить заявку
Заказать обратный звонок

Спасибо, Ваша заявка принята.

В ближайшее время менеджер свяжется с Вами.

Главная » Контекст » Опровергаем мифы об АB тестировании
Опровергаем мифы об АB тестировании
Контекстная реклама
3708
27 февраля 2018

Опровергаем мифы об АB тестировании

Нередко случается так, что в сфере рекламы и аналитики появляются укорененные мифы, что прочно заседают в головах специалистов.

И по мере роста количества профессионалов, возрастает и степень неопределенности по тому или иному вопросу.

Сегодня мы поговорим о четырех базовых мифах A/B тестирования и разовьем их.

Миф № 1. Чем больше тестов, тем круче результат

Многие ошибочно связывают успех с частотой. Это, в принципе, логично. Ведь чем больше тестов вы проводите, тем скорее начинаете понимать, что работает, а что – нет.

Но если заниматься маниакальной проверкой всех элементов всячески, когда вы заходите на страницу, это не принесет ощутимых результатов в долгосрочной перспективе. Когда вы акцентируете свое внимание лишь на скорости и количестве тестов, у вас гораздо хуже получается структурировать эксперименты и вы таким образом можете упустить нечто важное.

Тщательно подготовьтесь к тестам. Вам нужно четко понимать, что тот или иной текст отвечает гипотезе. Важно следить за релевантными целями для генерации множества ценных идей.

Не нужно одновременно тестировать многие элементы. Так вы рискуете получить ошибки во время обоснования результатов. К примеру, стремительный прыжок конверсии одного из вариантов отнюдь не является признаком того, что он лучше остальных.

Стоит обращать внимание на опыт прошлых экспериментов во время создания стратегии для будущих.

Миф № 2. Статистическая значимость – это лучшее, что только может быть

Уровень статистической значимости, который рекомендуется достичь для успеха – это 95 %. Тест может показать такой результат уже спустя пару часов после запуска. Но не стоит доверять этой цифре, ведь вряд ли у вас получится собрать репрезентативную выборку.

Если вы достигли такого результата, не стоит останавливать тест. Кроме этого, мы советуем не ждать момента, когда тест будет показывать необходимый уровень значимости.

Важно оценивать результаты согласно ряда факторов:

  • Стабильность разницы показателей конверсии во времени. Стоит обратить внимание на графики и определить, пересекаются ли варианты.
  • Продолжительность эксперимента.
  • Изменчивость. В том случае, когда средние значения конверсии в двух выборках будут совпадать, тогда скачок показателей будет что-то значить.
  • Расшаривание, средний чек, скачок конверсии и ROI и многие другие.

Данные факторы помогут вам в принятии дальнейших решений и редактировании работы тестов.

Миф № 3. A/B тест эффективен настолько, насколько он помогает в увеличении конверсии

Если вы так думаете, то вы точно недооцениваете потенциал тестирования для своей работы.

Стоит обращать внимание и на такие показатели, как визиты, клики и заполнение форм. Работайте с ними во время экспериментов.

Миф № 4. Тесты никак не помогут в планировании

Ряд специалистов и сегодня понимают сплит-тестирование в качестве проверки всего, что им приходит на ум. Но это только часть возможных работ.

Исследование посетителя и сбор информации о его действиях приводят к гипотезам. Целью отдельно взятого теста будет проверка гипотезы и получение новых идей для маркетинговой оптимизации. Тесты помогают понять, действительно ли вы рассматриваете те области, над улучшением которых нужно работать.

Плюсом тестирования будет постоянное совершенствование опыта пользователей посредство отдельных экспериментов.

Не стоит проводить слишком много тестов. Хорошо продумывайте программу тестирования и обращайте внимание на прошлый опыт экспериментов. Не забывайте обсуждать результаты работы с коллегами.

Успехов!