✔Сплит-тестирование в myTarget: гайд по новому инструменту - «Заработок»

Инструмент А/Б-тестирования будет полезен для запуска рекламных кампаний, определения наилучшей стратегии продвижения и поиска точек роста и оптимизации текущих кампаний. Сплит-тест в myTarget позволяет разделить аудиторию на непересекающиеся сегменты для чистоты тестирования. Раньше кампании копировались с изменением одного или нескольких параметров и влияли друг на друга. Аудитория, которая получала рекламу, пересекалась и рекламодатель перегревал собственный аукцион, а результаты тестирования были недостаточно качественными. Подготовка к запуску теста Перед началом теста определите, какие метрики будут использоваться для оценки результатов. Например, при тестировании креативов можно смотреть: на CTR — для оценки их отклика у аудитории; на конверсии на сайте — регистрации, покупки, заявки и т. д. — при оценке их влияния на дальнейшие конверсии. Далее нужно понять, при каком количестве действий будут подводиться итоги. Это зависит от выбранной метрики для оценки, а также текущих показателей конверсий в рекламных кампаниях. К примеру, при средней конверсии сайта в заказ в 1%, делать выводы при 150 переходах будет некорректно. Для этого вам понадобится больше данных. Определив целевые метрики и их абсолютные показатели, вы можете настраивать тестируемые кампании, как обычные. Настройка сплит-теста Панель настройки находится в разделе создания кампании. Вам нужно создать от двух до десяти кампаний с различающимися параметрами для тестирования: Выберите необходимое количество частей аудитории для первой кампании. В следующей кампании выделите другие, непересекающиеся значения аудитории. При выборе пересекающихся значений ваше объявление увидит несколько раз один и тот же человек. Например, вы запускаете пять креативов. И каждый из них видит один и тот же человек. Это нивелирует ценность инструмента. Для проведения A/Б-теста выберите 1, 2, 3, 4, 5 части аудитории в одной кампании и 6, 7, 8, 9, 10 в другой. Таким образом, кампании будут использовать равные и непересекающиеся части одной аудитории. Оценка результатов Чтобы наблюдать за выбранными частями аудитории, добавьте столбец «Сплит-тест» в дашборде «Кампании»: Как только вы получите определенное количество целевых действий, оцените результат. В нашем случае мы тестировали креативы и получили примерно одинаковое количество кликов. При этом CTR незначительно отличается — на 0,012%. Чтобы корректно проанализировать результаты, воспользуйтесь калькулятором статистической значимости. Я использую A/B Testguide. Он позволяет оценить качество проведенных тестов и показывает, является ли разница между относительными значениями из двух выборок существенной. Заношу выборку и конверсии (это также могут быть показы и клики, клики и заявки, заявки и продажи и т. д.), получаю разницу результатов в заданных условиях: На первом скриншоте я сравнил отношение кликов к показам, на втором — конверсий к кликам. Так, я убедился: полученные результаты не позволяют однозначно сказать, что один из креативов сработал лучше другого. Вернемся к сплит-тесту. Получаем следующие данные: Разница по показателям как сплит-теста, так и калькулятора небольшая. С точки зрения CTR эффективность креативов примерно одинаковая. Но если сравнивать их конверсию в дальнейшие целевые действия («Конверсии» на скриншоте), то данных недостаточно. Для точного вывода о том, какой из креативов конвертирует лучше другого, нужно продолжить тестирование. Однозначно инструмент повысит качество тестов, которые проводят рекламодатели в myTarget. Но работа с ним требует внимательности и четкой постановки цели. Поэтому рекомендую использовать сплит-тест только со сформированными планами и фиксировать результаты по завершении тестирования.