Дашборд показывает зелёную стрелку у активации и красную у удержания, и на планёрке начинается спор: онбординг стал лучше или хуже? Ответ почти никогда не лежит в самих графиках. Его приходится собирать по шагам: от определения события до состава трафика и зрелости когорт.
Рост активации не доказывает ценность продукта
Картина «активация выросла, Retention упал» опасна: успехом могут объявить событие, которое перестало означать первый опыт ценности. Регистрация, настройка, первый запуск фичи или платёж повышают Activation Rate, но не обязательно меняют причину возврата через неделю.
Activation Rate = активированные пользователи / пользователи, имевшие возможность активироваться. Retention Dn = пользователи когорты, совершившие критическое действие в день или окно n / размер когорты. Первая метрика фиксирует ранний рубеж, вторая отражает повторяемость ценности; причинная связь между ними не автоматична.
Полезно держать в голове порядок величин. По данным Mixpanel (Product Benchmarks Report, анализ более 1,3 млрд пользователей), у большинства продуктов удержание на восьмую неделю ниже 20%, для медиа и финансов сильным считается результат выше 25%, для SaaS и e-commerce выше 35%. Кривая удержания в норме круто падает в первые дни и затем выходит на плато: наличие этого плато важнее одной цифры, потому что именно плоский участок показывает ядро вернувшихся. Если после роста активации проседает само плато, а с ним и ранние дни, проблема затронула ядро, и списать её на случайных новичков уже не получится.
Не спешите переделывать первые шаги для новичков. Сначала отделите реальную перемену в поведении от ошибки подсчёта, смены аудитории и разовой акции. Начните с того, правильно ли пишутся события, и только потом смотрите на качество когорт. Самый заметный график редко подсказывает верное объяснение.
Метрика меняется раньше поведения
Бывает, что метрика называется так же, а считают её уже по-другому. Например, раньше активированным считали того, кто создал первый проект и пригласил коллегу. После релиза им стал любой, кто открыл экран проекта или нажал «создать». Activation Rate растёт, но сравнивать его с удержанием уже бессмысленно: в подсчёт попали люди с другими намерениями.
Числовой пример помогает увидеть ловушку. Допустим, до релиза активацию засчитывали 20% регистраций и из них возвращались на седьмой день 40%; после смягчения критерия активированными стали 35% регистраций, но Retention D7 у них упал до 25%. Формально активация выросла в 1,75 раза, а на деле в числитель попали люди, дошедшие до кнопки, но не до результата, и средний возврат размылся. Продукт тут ни при чём: поменялся смысл метрики (числа в этом и следующих примерах придуманы для наглядности).
Начните с журнала событий: версия приложения, источник и свойства события, порядок действий, нет ли повторов. Проверьте двойные срабатывания, события, отправленные раньше, чем действие завершилось, тестовые аккаунты и то, на что вы делите. Новый экран может засчитать «успешную настройку» по нажатию кнопки, хотя сохранить настройки не удалось из-за ошибки сервера.
Активацию можно повысить, почти не затронув получение ценности: сократить форму, добавить автозаполнение, перенести обязательный шаг позже. Это не обязательно плохо, но проверьте связь нового события с повторным критическим действием и доходом когорты.
Для старого и нового определения сравните долю дошедших до первого ценностного результата, Retention на сопоставимом горизонте и время до результата. Если новое событие ловит больше людей, но не меняет дальнейшее поведение, оставьте его диагностическим сигналом. Доказательством здорового онбординга оно не служит.
Шесть проверок перед решением
Дерево диагностики последовательно отсеивает гипотезы, которые данные не подтверждают. Каждая проверка должна завершаться наблюдением; фраза «посмотрим внимательнее» результатом не считается.
- Запишите, как именно считается метрика. Опишите событие, порядок шагов, окно времени, что считаете единицей и какие исключения. Сверьте это описание во всех версиях продукта, на всех платформах и в аналитике.
- Зафиксируйте срок, на котором смотрите Retention. Не сопоставляйте свежую активацию с когортой, не прожившей нужное число дней. Недельному циклу нужен один горизонт, рабочему инструменту с месячной периодичностью совсем другой.
- Разложите результат по когортам. Постройте Activation Rate и Retention по дате первого визита, каналу, кампании, устройству, гео и версии продукта: общий результат скрывает смену весов сегментов.
- Проверьте стимул и путь до ценности. Отметьте пришедших за бонусом, пробным доступом, скидкой или обещанием рекламы; сравните их с пользователями без стимула, учитывая канал и намерение.
- Совместите календарь изменений. Нанесите на один ряд релизы, сбои, праздники, расходы на рекламу, цены и CRM-рассылки. Сдвиг около релиза сам по себе не доказывает его эффект.
- Проверьте локальный выигрыш дальше по пути. После улучшения этапа оцените первый ценностный результат, повторное действие, поддержку, возвраты и маржинальный доход.
Так появляется карта: где виден эффект, с какого дня начинается расхождение и какое звено измеряет не то, что предполагалось. Это основа для эксперимента, исправления трекинга или маркетингового решения.
Трафик и стимулы создают ложный успех
Activation Rate может измениться из-за нового состава трафика, даже если путь пользователя в продукте остался прежним. Новая кампания может привести аудиторию с ясным намерением зарегистрироваться, но обещать разовую выгоду. Когорта быстро проходит ранний шаг, не находит регулярного повода вернуться, и Retention падает после окончания стимула. Продукт видит активацию, маркетинг радуется дешёвой ранней конверсии.
Общая цифра чувствительна к тому, из кого состоит аудитория: Retention общий = Σ(доля сегмента × Retention сегмента). Общее удержание снизится, если выросла доля канала, где люди быстро уходят, даже когда в каждом канале удержание прежнее. И наоборот: хороший трафик от бренда может на время скрыть, что старым пользователям стало хуже.
Это эффект состава: общий показатель двигается, хотя внутри каждой группы ничего не изменилось. Пусть в платном канале Retention 20%, в органике 50%. Была тысяча платных и тысяча органических, общий возврат 35%. После кампании стало три тысячи платных и тысяча органических, удержание каждого канала прежнее, а общий возврат падает до 27,5% только из-за веса. Вывод «продукт стал хуже держать» тут ложный: поведение осталось прежним, изменился только состав. Поэтому шаг 3 из дерева обязателен: без разреза по когортам агрегат обманывает.
Дробите аудиторию до уровня, на котором можно что-то сделать: канал, кампания и посадочная страница полезны, если у них есть владелец бюджета и гипотеза. Десятки мелких групп без объёма дают шум: сначала сравните крупные источники, новых и возвращающихся пользователей, устройства и путь активации.
Бонус за первый шаг оправдан, если сокращает путь к первой ценности, и вреден, если мотивирует действие без продуктовой пользы. Его защитные метрики (guardrail: показатели, которые не должны ухудшиться, пока растёт основной): время до первого ценностного результата, Retention активированных, отмены, возвраты и обращения в поддержку. Оценивать стимул только по завершённым действиям нельзя.
Свежая когорта ещё ничего не показывает
Активация видна сразу, а удержание проявляется позже. На одном графике могут оказаться вчерашние активации и недельное удержание старых когорт: разные периоды, версии продукта и разный трафик.
Нужны две оси. Календарная показывает, сколько людей активировалось и вернулось в конкретную неделю; когортная показывает, как ведут себя пользователи, начавшие путь в одну дату или при одной версии продукта. Качество онбординга оценивают по зрелым когортам; ежедневный срез для этого слишком шумный.
Лаг зависит от привычного интервала использования. Для ежедневных задач пропуск нескольких дней тревожен; в B2B-продукте с месячным циклом отсутствие события через неделю не говорит об оттоке. Неверное окно создаёт иллюзию низкого или искусственно здорового удержания. Практичный ориентир для окна: медианный интервал между двумя критическими действиями активных пользователей, умноженный на небольшой запас. Если половина ядра возвращается раз в две недели, недельное окно запишет в отток тех, кто просто ещё не дошёл до следующего цикла.
Посчитать окно несложно. Допустим, медианный интервал между двумя созданиями проекта у активных пользователей равен 9 дням, а запас взят полуторный: 9 × 1,5 ≈ 14 дней. Тогда ранний сигнал удержания смотрят на D14, и сравнивать когорты можно только после того, как самой свежей из них исполнилось 14 дней. Если релиз вышел в понедельник, первая недельная когорта созреет через три недели (неделя набора плюс 14 дней), а три зрелые недельные когорты наберутся только к концу пятой недели.
Проверьте время до следующего критического действия. Если активация ускорилась, а интервал до второго действия вырос, порог прошли быстрее, но привычка не приблизилась. Если сокращаются оба интервала и зрелый Retention не падает, рост активации получает более сильное подтверждение.
Сезонность и локальные победы меняют картину
Календарь меняет объём и намерение трафика: выходные, отпуска, отчётные даты и промо влияют на поведение. Сравнение соседних недель без учёта этих сдвигов может ошибочно обвинить релиз или кампанию. Нужны сопоставимые дни недели, прошлые сезонные периоды и отметки внешних изменений.
Локальная настройка этапа тоже обманчива. После сокращения полей регистрация растёт, но обязательные данные могут всплыть при первой покупке, создании проекта или запросе доступа. Барьер просто переезжает туда, где отказ дороже: пользователь уже потратил время и сталкивается с неожиданным требованием.
Работа над активацией требует цепочки защитных метрик: успешное завершение первой задачи, повторное действие и Retention; для подписки добавляются отмены пробного периода и возвраты; для маркетинга нужны стоимость привлечения активированного пользователя и удержание по кампании. Ранний выигрыш принимают только после проверки его цены дальше по пути.
Причинный ответ дают только контролируемые сравнения. Временное совпадение его не даёт. Если изменение раскатывают на часть подходящей аудитории, заранее фиксируют основную метрику, защитные метрики, правило остановки и окно наблюдения. Если эксперимент невозможен, результат следует назвать наблюдательным, проверить альтернативы и не объявлять корреляцию эффектом релиза.
Кто за что отвечает, чтобы не гоняться за одной цифрой
В зрелой компании активацию связывают с пользой и удержанием, но не поручают одной цифре весь бизнес. Продукт отвечает за путь к первому результату, маркетинг за то, каких людей он привёл, аналитик за правила подсчёта, пропуски в данных и состав групп. Так меньше соблазна поднимать цифру, которая ни на что дальше не влияет.
Для еженедельного ритма достаточно проверки свежести событий, мониторинга аномалий, когортного среза зрелых периодов и журнала изменений. При сдвиге Activation Rate журнал должен содержать релизы, кампании, цены, бонусы и инциденты, чтобы обсуждение начиналось с проверяемых причин.
Помимо ответственного за рост метрики нужен владелец её определения: он утверждает описание события и предупреждает об изменениях. На переходный период храните старую и новую версии события, чтобы увидеть, насколько разошлись цифры, не переписывая историю.
О защитных метриках лучше договориться заранее. Для активации разумно взять три: долю дошедших до первого полезного результата, удержание зрелой когорты на выбранном сроке и обращения в поддержку на тысячу новых пользователей. Пороги задают до релиза, пока график ещё не подсказал удобный ответ.
Когда рост активации всё-таки стоит засчитать
У продуктовой команды на всё это есть резонный ответ. Активация считается опережающим показателем именно потому, что удержание созревает неделями. Если каждый рост активации ждать до зрелых когорт, команда теряет темп, а конкурент успевает выкатить три итерации. К тому же часть падения Retention после смягчения критерия ожидаема и безвредна: в числитель попали люди, которые раньше уходили до активации, и абсолютное число вернувшихся могло даже вырасти.
Последний довод стоит проверить арифметикой. В примере выше до релиза из 1000 регистраций активировались 200, и на седьмой день вернулись 40% из них, то есть 80 человек. После релиза активировались 350, вернулись 25%, то есть 87,5. Retention активированных упал на 15 пунктов, а вернувшихся стало примерно на 9% больше. Если считать удержание от всех регистраций, оно выросло с 8% до 8,75%. Значит, иногда «падение» оказывается артефактом знаменателя, и продукт на деле удерживает больше людей.
Отсюда правило решения. Засчитывайте рост активации без полного дерева, если одновременно выполнены три условия: определение события не менялось, доля крупнейшего канала в трафике сдвинулась меньше чем на 5 п.п., а удержание от всех регистраций на зрелом горизонте не упало. Если нарушено хотя бы одно, проходите шесть проверок по порядку. Так проверки запускаются только по поводу и не превращаются в ритуал после каждого графика.
Решение начинается с сопоставимых когорт
Падение Retention после роста активации не отменяет ценность ранних улучшений: оно означает, что доказательство ещё не собрано.
Если расхождение осталось, у него есть конкретные возможные причины: новый путь привёл менее мотивированный трафик, стимул заменил ценность, барьер перенесли дальше либо первая сессия стала быстрее, но пустее. У каждой гипотезы есть наблюдаемый след и следующий измеримый шаг. Самая дорогая ошибка на этом этапе случается до проверки: определение активации меняют или ставят команде новую цель по Activation Rate, и сравнивать становится не с чем. Пока гипотеза не проверена, любое решение по онбордингу держится на догадке.