Связь технический и продуктовых метрик

Для курса Технический продакт менеджмент в Стратоплане я хотел показать наглядно, как технические метрики влияют на продуктовые. А в частности, простая задержка загрузки страницы влияет на удержание пользователей.

Так появился сервис: https://tpm.belyaev.live

alt text

И в целом, если не смотреть пристально, то результаты действительно подтверждают теорию (чем медленнее работает сервис, тем хуже удержание пользователей – у них возникает желание бросить все и закрыть).

Поэтому, в сервисе есть 20 страниц с контентом и между страницами рандомно реализована задержка от до 200 мс до 4000 мс (4 сек). То есть, в худшем случае пользователю при переходе с одной страницы на другую нужно ждать 4 секунды. Распределение равномерное между посетителями. И давайте посмотрим на цифры - подтверждает ли практика теорию?

Сервис посетило 300 пользователей. Все страницы прошли 20% от посетителей (для них явно была польза в сервисе и они готовы были терпеть неудобства)

И в целом, что видно:

  • Чем выше задержка, тем раньше пользователи закрыли вкладку браузера (на 700 ms - на 6 странице, на 4000 ms - 4-5 страницы)
  • Быстрая загрузка страницы (200 ms задержка) - показывает даже хуже результаты, чем 700 ms (кажется как раз оптимальной загрузкой). Пользователи добрались до 5 страницы и закрыли ее, а вот на 700 ms - на 1 страницу дольше были
  • Отток между 1 и 5 страницей на 25% выше, при задержке в 4000 ms, в сравнении с 700 ms

alt text

alt text

Анализ задержек

Это наглядный пример того, что техническая команда может напрямую влиять на продуктовые метрики. И это должно быть аргументом для того, чтобы инвестировать разумное время в работу над техническим долгом (именно - разумное время, потому что как видно, разница в задержке между 200 ms и 700 ms - отсутствует).

Спасибо, что помогли сделать этот эксперимент! А контент, на самом деле полезный на странице (по отзывам прошедших через все 20 страниц студентов)

p.s. публичная страница с аналитикой: https://tpm.belyaev.live/analytics