Нередко случается так, что в сфере рекламы и аналитики появляются укорененные мифы, что прочно заседают в головах специалистов.
И по мере роста количества профессионалов, возрастает и степень неопределенности по тому или иному вопросу.
Сегодня мы поговорим о четырех базовых мифах A/B тестирования и разовьем их.
Многие ошибочно связывают успех с частотой. Это, в принципе, логично. Ведь чем больше тестов вы проводите, тем скорее начинаете понимать, что работает, а что – нет.
Но если заниматься маниакальной проверкой всех элементов всячески, когда вы заходите на страницу, это не принесет ощутимых результатов в долгосрочной перспективе. Когда вы акцентируете свое внимание лишь на скорости и количестве тестов, у вас гораздо хуже получается структурировать эксперименты и вы таким образом можете упустить нечто важное.
Тщательно подготовьтесь к тестам. Вам нужно четко понимать, что тот или иной текст отвечает гипотезе. Важно следить за релевантными целями для генерации множества ценных идей.
Не нужно одновременно тестировать многие элементы. Так вы рискуете получить ошибки во время обоснования результатов. К примеру, стремительный прыжок конверсии одного из вариантов отнюдь не является признаком того, что он лучше остальных.
Стоит обращать внимание на опыт прошлых экспериментов во время создания стратегии для будущих.
Уровень статистической значимости, который рекомендуется достичь для успеха – это 95 %. Тест может показать такой результат уже спустя пару часов после запуска. Но не стоит доверять этой цифре, ведь вряд ли у вас получится собрать репрезентативную выборку.
Если вы достигли такого результата, не стоит останавливать тест. Кроме этого, мы советуем не ждать момента, когда тест будет показывать необходимый уровень значимости.
Важно оценивать результаты согласно ряда факторов:
Данные факторы помогут вам в принятии дальнейших решений и редактировании работы тестов.
Если вы так думаете, то вы точно недооцениваете потенциал тестирования для своей работы.
Стоит обращать внимание и на такие показатели, как визиты, клики и заполнение форм. Работайте с ними во время экспериментов.
Ряд специалистов и сегодня понимают сплит-тестирование в качестве проверки всего, что им приходит на ум. Но это только часть возможных работ.
Исследование посетителя и сбор информации о его действиях приводят к гипотезам. Целью отдельно взятого теста будет проверка гипотезы и получение новых идей для маркетинговой оптимизации. Тесты помогают понять, действительно ли вы рассматриваете те области, над улучшением которых нужно работать.
Плюсом тестирования будет постоянное совершенствование опыта пользователей посредство отдельных экспериментов.
Не стоит проводить слишком много тестов. Хорошо продумывайте программу тестирования и обращайте внимание на прошлый опыт экспериментов. Не забывайте обсуждать результаты работы с коллегами.
Успехов!
