Тестирование продукта

Следующим этапом, после создания MVP, является проведение непосредственного тестирования продукта.

MVP обеспечит прохождение первого этапа обучения. Он позволит установить реальные базовые показатели модели роста стартапа – скорость привлечения и регистрации клиентов, популярность пробной версии, жизненный цикл потребителей и т.д. Эти показатели могут стать основой для того, чтобы получать новые знания о клиентах и их реакции на продукт, даже если первые тесты покажут не самые лучшие результаты.

Из множества начальных допущений, изложенных в бизнес-плане, имеет смысл в первую очередь тестировать самые рискованные. Ведь если не удастся найти способ снизить риски до показателей, необходимых для создания жизнеспособного бизнеса, нет смысла тестировать остальные предположения. Например, перед медиабизнесом, который продает рекламу, стоят два главных вопроса: удастся ли привлечь внимание определенного сегмента потребителей и постоянно удерживать его и можно ли продать это внимание рекламодателям? Если стоимость рекламы для определенного сегмента потребителей известна, то допущение относительно способности привлекать внимание более рискованно. Поэтому первые эксперименты должны быть связаны с созданием контента, а не с продажей рекламы. Возможно, компания может создать пилотный эпизод, серию или статью, чтобы увидеть реакцию потребителей.

Как только установлены базовые показатели, можно переходить ко второму этапу обучения: настройке механизма роста. Каждая инициатива стартапа в сфере разработки продукта, маркетинга или в чем-то еще должна быть направлена на совершенствование одного из драйверов модели роста. Например, компания может потратить время на улучшение дизайна продукта, чтобы новым потребителям было легче им пользоваться. Это оправданно, если скорость привлечения новых клиентов – драйвер роста, но пока она ниже, чем хотела бы компания. Чтобы получать обоснованные знания, изменения в дизайне должны ускорять привлечение новых потребителей. Если этого не происходит, значит, новый дизайн оказался неудачным. Это важное правило: хороший дизайн – тот, который меняет поведение потребителей к лучшему.

А теперь давайте сравним два стартапа. Первая компания установила четкие базовые показатели, разработала план по их улучшению и задумала ряд экспериментов, чтобы проверить свои предположения. Члены второй команды без конца спорят о том, как усовершенствовать продукт, вводят несколько изменений одновременно и радуются, если какие-то цифры начинают расти. Какой стартап работает эффективнее и добьется более стабильных результатов?

Методы тестирования

Когортный анализ

Это один из самых важных инструментов анализа для стартапа. Он может показаться сложным, но основан на одной простой предпосылке. Вместо того, чтобы оценивать совокупные общие показатели, например, общий доход и общее количество потребителей, мы оцениваем показатели отдельно по каждой группе потребителей, которая вступает в контакт с продуктом независимо от остальных групп. Каждую такую группу называют когортой.

Менеджеры, работающие в сфере продаж, увидят, что такой анализ напоминает традиционный анализ «воронки продаж», который помогает понять, что нужно сделать, чтобы превратить потенциальных клиентов в реальных. Этот метод полезен во многих сферах бизнеса, потому что выживание любой компании зависит от последовательных паттернов поведения потребителей, которые называют потоками. Такие потоки управляют взаимодействием клиентов с продуктами компании. Они позволяют оценивать и анализировать бизнес количественно и прогнозировать ситуацию гораздо точнее, чем традиционные общие показатели.

Сплит тестирование

В эксперименте по сплит-тестированию клиентам одновременно предлагаются разные версии продукта. Наблюдая изменения в поведении между теми, кто пользуется разными версиями, можно сделать выводы о влиянии разных изменений. Этот метод впервые стали использовать рекламодатели в сфере директ-мейла. Например, компания отправляет клиентам каталог продукции. Если вы хотите протестировать его дизайн, то можете отправить 50% клиентов новую версию, а другим 50% – старую, стандартную версию каталога.

Чтобы добиться научной чистоты эксперимента, оба каталога должны содержать одни и те же товары. Отличаться должен только дизайн. Чтобы выяснить, какой дизайн лучше, достаточно просто отслеживать объемы продаж для обеих групп клиентов. (Этот метод иногда называют А/В-тестированием, потому что каждой из версий каталога присваивалась та или другая буква.) Часто считается, что сплит-тестирование можно использовать только в маркетинге (или даже только в директ-маркетинге).

Сплит-тестирование иногда помогает выяснить удивительные вещи. Например, многие цифры, которые улучшают продукт в глазах разработчиков и дизайнеров, никак не влияют на поведение потребителей. Сплит-тестирование также помогает командам лучше понять, что хотят и чего не хотят клиенты.

Следует отметить, что в процессе проведения экспериментов компании необходимо вести постоянный учет и управление версиями продукта. Одним из действенных инструментов установления приоритетов в разработке продукта является «правило канбан», один из принципов методологии бережливого производства.

Система предусматривает, что эксперименты с продуктом (пользовательские истории) не считались завершенными до тех пор, пока не позволяли получить подтверждения фактами. Все эти истории можно было отнести к одной из четырех фаз развития: исходные данные, создание, завершающая стадия (опция закончена с технической точки зрения) или «процесс проверки».

Прошедшие проверку истории получали статус «мы знаем, что эта история – хорошая идея, и ее нужно сделать в первую очередь».

Такая проверка обычно происходила в форме сплит-тестирования, показывающего изменения в поведении потребителей, но иногда включала в себя интервью с пользователями или опросы.

Ознакомьтесь с еще одним методом тестирования и выполните задание. Скачать