И оказывается, что таким образом мы можем в первом приближении разделить пользователей на две общие категории: есть пользователи быстро «распадающиеся» (быстро покидающие сервис), и на старте их чаще всего больше чем пользователей второго типа, которые «утекают» медленно (они показаны красным пунктиром), но доля которых в начале не велика.
По сути, это смесь двух типов пользователей: лояльных и достаточно случайных: тех, которые зашли один-два раза, потом не вернулись, и тех, которые конечно уйдут когда-нибудь, но не скоро, а пока продолжают ходить из месяца в месяц. Таким образом, можно разбираться с этими двумя категориями пользователей. Из этой кривой, которую нужно померить на протяжении относительно короткого времени, можно получить количественные выводы о том, а какая доля у вас получилась долгосрочной лояльной аудитории и дальше разбираться, почему она получилась именно такой.
Проиллюстрирую это на более понятном графике. Вот примерные цифры, которые характерны для интернет-сервисов: у вас есть лояльная доля аудитории (в жизни она как правило составляет 5-20%), период полураспада у этой хорошей лояльной доли — больше чуть ли не в несколько десятков раз чем у тех случайных, которых было 80-95 процентов. То есть обычно жизнь сервиса, не получившего распространения (например, социальная сетка) устроена так: есть случайные пользователи, которые составляют подавляющее большинство, есть долгосрочные. Вы можете за короткое время, имея шесть-семь точек кривой, построить сумму экспонент и получить достаточно долгосрочный, надежный прогноз.
Почему так важны долгосрочные прогнозы, почему я говорю о том, что очень важно за три-четыре недели получить сведения о доле и периоде «полураспада» лояльных пользователей? Потому что интернет-среда — очень быстрая среда. Стартапы вообще живут в немыслимо быстром времени — цикл создания чего-нибудь новенького, прототипного, измеряется часами. Ждать неделю, чтобы представить проект инвесторам — это уже целая вечность.
Поэтому сиюминутные метрики становятся в головах людей превалирующими, более того — в интернете все можно править налету, все сразу видно. Но изменения, вызванные сиюминутными наблюдениями вызывают определённые проблемы. Вспомнить пример с фокус-группами — если пользователь говорит, что ему что-то кажется прикольным, наверное, можно из этого сделать некую однократную акцию. Если же сделать такое явление постоянным — на этом можно навсегда потерять лояльную аудиторию. То, что что для случайных посетителей будет очень прикольно, может быстро надоесть тем, кто пользуется сервисом постоянно.
Отсюда и проблемы всех этих долгосрочных решений, принятых на основе реакций, отслеживаемых за секунды или часы. Такое наблюдение не решает главного вопроса — долгосрочной любви и лояльности сайту. Эти пресловутые методы churn rate можно применять по-разному и собирать информацию из разных источников.
Если показатели «посыпались» — это может быть следствием любого эффекта. И определение причины — непрямая задача исследования. Причиной может быть что-то внешнее. Может быть, это естественная вещь — вы обновили версию и старые UID исчезли. На самом деле это не люди ушли, а лишь обновились идентификаторы программы.
Часто еще бывает, что конкурент что-то выпустил и те, кто были вашими лояльными пользователями, стали менять ваш продукт на аналогичный продукт конкурента. И такой звоночек, вовремя полученный из этой таблицы, позволяет быстро определить захватывает ли это всех, кто живет с вами уже полгода, или их уже никаким калачом не переманишь, и быстро принять ответные шаги.
Теперь немного практических выводов и советов. Во-первых, желательно любые измерения и изменения тестировать не только на сиюминутной метрике вроде тех самых фокус-групп или метрик вроде глубины просмотра. Хорошо бы предоставить продукт тестовой группе в параллель с основной версией и посмотреть долгосрочные метрики на группах пользователей, составляющих небольшую долю от вашей аудитории.
Можно посмотреть, как ведет себя программа и как ведут себя пользователи сервиса в интернете в тестовой группе. И в то же время изучить то, как ведут себя пользователи, которые зарегистрировались на нашем старом интерфейсе. Сравнивать напрямую их нельзя — у них разная реакция. Отношение этих долей лояльных пользователей к отношению периода полураспада и у лояльных и у «быстроутекающих» выявляется сериями метрик, за которыми в таком эксперименте нужно следить. Если делать это на регулярной основе — узнаете много нового и интересного.