Об утопии «Сквозной аналитики»

Есть такая тема сейчас модная, как "сквозная аналитика". Это когда Вы видите число конверсий буквально по каждому запросу из Директа. Пиарщики убеждают, что это круто, что Вы сможете отключать нерабочие запросы, что будете знать каждый запрос, который приносит вам клиентов.

Но утопия тут в том, что чтобы реально что-то анализировать - нужно собрать столько статистики по запросу, чтобы она стала статистически-достоверной.

Возьмем среднюю конверсию по сайту 10%. Просто чтобы измерить эту конверсию с точностью 1% Вам нужно собрать 10 таких конверсий. (10% разделить на 10 - получается 1% точности). Но это только погрешность инструментальная, так сказать (по крайней мере, на лабораторных по физике это так называлось).

А есть еще статистическая погрешность. Так вот, чтобы получить ту же погрешность 1% - Вам нужно собрать по запросу уже 200 конверсий. Целых 200! И это всего по одному запросу. В некоторых тематиках столько заявок со всей рекламы за месяц не приходит.

Может через 10 лет у Вас и накопится по некоторым запросам столько статистики:) Только оно Вам надо через 10 лет то?:)

Что же делать?

Нужно группировать вместе схожие запросы и собирать статистику по ним сразу по всем. Например, я выделяю отдельную рекламную компанию под конверсионные запросы (с продающими добавками) и анализирую отдельно статистику по конверсионным запросам и отдельно по общим (так разделяю каждое направление). А иногда и на 3-4 типа делю каждое направление.

Изначально ставки на конверсионные фразы я выставляю в 2 раза выше, чем на общие. По мере накопления статистики - немного корректирую. Но, статистику для такой корректировки лучше всего собирать хотя бы полгода (хотя все очень сильно зависит от количества трафика - лучше всего дождаться, когда компания соберет около 200 конверсий).

Распространенная ошибка

Часто люди спешат поскорее оптимизировать контекст. И допускают большую ошибку. Они корректируют ставки и принимают решение до того, как набралось достаточно статистики. В итоге делают только хуже себе. Поэтому тут есть хорошая новость для лентяев - не нужно быстрее бежать корректировать ставки. Нужно подождать полгода и провести корректировку. А потом еще полгода просто ждать:) Поверьте, так будет только лучше! (занимайтесь в это время другими вещами по проекту)

Что будет если вмешаться слишком рано?

В этом случае общая прибыльность контекста упадет. Скажем, Вы понизили ставки по тем запросам, которые Вам показались не конверсионными. Трафик по ним упал. (А, как я уже говорил ранее, трафик - это деньги). А потом выяснится что половина из "неконверсионных" запросов - очень даже конверсионные. Просто данные были статистически недостоверными. Ну и наоборот. Поднимите ставки по "конверсионным" запросам, будете получать дорогие клики, а потом выяснится, что никакие они не конверсионные вовсе.

Так что, лучше тут не спешить. Сделаете только хуже.

Хороший инструмент

Я пользуюсь вот этим бесплатным калькулятором выборки. Там дизайн сервиса старенький, но работает он норм. Всегда прежде чем внести корректировки смотрю, какая на текущий момент статистическая погрешность.

Вот пример с реального моего текущего эксперимента:

Статистики по объявлениям собралось мало, но для демонстрации моих мыслей пойдет. Видно, что погрешность слишком большая чтобы делать какие-то выводы. Нужно продолжать собирать статистику по объявлениям.

ПС: CTR на скриншоте такой низкий потому что это реклама мобильного приложения, а не сайта. Это нормально, что люди меньше кликают туда.