Такой идеальный путь называется картой клиентского следования, какой она должна быть (to be CJM).
Хорошей практикой считается добавлять в to be CJM следующие слои:
• шаг повествования – краткое описание действия, которое обязательно нужно совершить, чтобы продвинуться вперед в процессе использования функциональности;
• описание действия – раскрытие особенностей шага и возможных идей реализации;
• точка касания – точка взаимодействия с сервисом (сайт, мобильное приложение, звонок в колл-центр);
• интерфейсный паттерн – пример элемента интерфейса, группы элементов или даже последовательности экранов, который, по мнению исследователей, поможет пользователю наилучшим образом совершить действие.
Можно с определенностью сказать, что сокращение шагов путешествия улучшает пользовательский опыт, если с этим уменьшается суммарное время достижения результата и не возрастает когнитивная нагрузка.
Бета-, A/B- и А/А-тестирование
Мир, в котором можно в реальном времени исправить проблемы в продукте, отличается от мира, в котором нужно предусмотреть все возможные проблемы и где цена ошибки высока.
Представьте себе производство автомобилей. Если предварительных исследований будет недостаточно, это может привести к человеческим смертям, что означает для бизнеса массовый отзыв изделий. В таком случае однозначно необходимо проводить многочисленные исследования перед тем, как запустить продукт в серию. Прототипы самолетов проходят проверку в аэродинамических трубах, а прототипы продуктов быстрого спроса – испытания в фокус-группах.
Но если речь идет о производстве программного обеспечения, которое распространяется онлайн, то здесь цена ошибки может быть меньше, чем стоимость предварительных исследований, а в таком случае проверка «в полях» работает максимально эффективно.
Как мы обсуждали ранее, в лабораторных условиях пользователи ведут себя неестественно и выборки респондентов не всегда репрезентативны. Так что именно релиз в формате smoke-test[54] на репрезентативную долю пользователей может дать статистически достоверный ответ.
Чтобы минимизировать негативный эффект, новую функциональность следует открывать на ограниченное количество пользователей – специальную группу лояльных пользователей, которых называют бета-тестерами.
Бета-тестирование
Термин подразумевает, что существует еще альфа-тестирование – тестирование членами команды разработки (quality assurance engineer[55]) на этапе проверки ПО в отношении соответствия условиям приемки. Как правило, для бета-тестирования выбирают очень лояльных пользователей, чтобы минимизировать негативные отзывы о возможных проблемах. Иногда, в случае дорогих продуктов, например игр, бета-версии раздаются специально для генерации обзоров и формирования положительного образа продукта.
В магазине приложений Google Play Market предусмотрен специальный режим обновления продукта, при котором бета-тестеры из списка получают более актуальное ПО быстрее остальных пользователей.
«Проверке боем» близки по духу раскрытие на белый список или раскрытие на долю.
Раскрытие на белый список
В белый список, в противоположность черному, входят пользователи, максимально релевантные исследованию. Это может быть минимальная репрезентативная выборка, из которой иногда исключаются какие-то клиентские сегменты, территории или модели устройств.
Как правило, раскрытие на белый список происходит при помощи механизма feature-toggling – «выключателя фич», когда те или иные фичи в реальном времени можно включить или выключить с сервера.
Например, в банковских мобильных приложениях часто из числа первопроходцев исключают VIP-клиентов или людей с нестабильными дешевыми смартфонами.
Раскрытие на долю
Раскрытие на долю применяется, когда есть вероятность потенциальной перегрузки серверной части ПО, обвала контакт-центра или какого-либо другого сервиса, в основе которого работают люди.
В Google Play Market предусмотрены специальные варианты обновления, позволяющие раскрыться на 10, 20, 50 % аудитории. В таких случаях также может использоваться механизм feature-toggling, чтобы не только гибко открывать, но и закрывать функциональность, если эксперимент окажется неудачным. Есть способ настроить автоматическое отключение (Automatic Rollback) при достижении определенных критериев производительности, таких как доля случаев экстренного завершения работы приложения, нагрузка на сервер, среднее время ожидания на выделенной телефонной линии и т. п.
A/B-тестирование
A/B-тестирование – частный случай мультивариантного тестирования (MVT), описанного ранее. По сути, это аналог бета-тестирования или раскрытия на белый список, но на пользователей открываются два варианта реализации функциональности: вариант А и вариант Б. Сравнив бизнес-показатели двух вариантов, можно выделить более эффективный и раскрыть его на всех пользователей.
Работая над дизайном «Альфа-Мобайл», мы пришли к тому, что на первом экране появилось много элементов меню первого уровня и пользователям было трудно найти нужное. По этой и по ряду других причин мы решили переделать навигацию по приложению. Мнения в команде разделились. Я предлагал использовать панель вкладок (tab bar, таб-бар) – нижний навигационный элемент, стандартный в iOS и в тот момент легализованный в Google Material Design. Главный дизайнер приложения предлагал вариант с центральной разделяющей кнопкой; ближайший аналог подобного решения – интерфейс Spotify.
В определенный момент для некоторой доли пользователей Android были открыты два варианта навигационного элемента
Моим аргументом было то, что панель вкладок – привычный элемент. Аргумент главного дизайнера – что новый элемент придает уникальности приложению.
Я провел эвристический анализ с использованием в том числе материалов Nielsen Norman Group, эта компания известна своими многочисленными исследованиями в области дизайна интерфейсов, многие выводы из которых, включая «эвристики Nielsen»{6}, активно используют UX-исследователи для эвристического анализа интерфейсов. В результате я не выявил значительных различий.
Следующим шагом стало проведение юзабилити-исследования, в нем показатели таб-бара были немного лучше, но разница оказалась меньше погрешности. Несмотря на то что мы получили огромное количество информации об опыте пользователей, мы не смогли достичь статистически значимого результата.
Юзабилити-исследования – прекрасный инструмент для получения пользовательских инсайтов, но они не всегда дают статистически значимый результат, на основе которого можно было бы принять однозначное решение в пользу того или иного варианта
Третьим шагом в решении этого принципиального вопроса было проведение A/B-тестирования. Команда разработчиков в сроки, сопоставимые со временем, требуемым для рекрутинга на юзабилити-исследование, создали «легкие» тестовые версии двух видов навигации. Мы открыли эксперимент на небольшую группу клиентов и предупредили их о проведении эксперимента во всплывающем окне при запуске приложения. У участников была возможность отказаться.
А/В-тестирование может не показать разницу в конверсии, если стоимость переключения с исследуемого продукта на другой для пользователя высока (на тот момент, чтобы сменить банк, нужно было приходить с паспортом в отделение), – он завершает сценарии вне зависимости от удобства навигации. Хотя потом это негативное переживание, вероятно, послужит стимулом к смене продукта при удобном случае
После обработки данных по конверсиям мы не увидели значимой разницы между вариантами. Скорее всего, это было связано с тем, что в приложениях вроде банковских наблюдается так называемый эффект лосося[56]. Если человеку необходимо пополнить баланс мобильного телефона, он готов преодолевать значительные трудности, чтобы достичь цели. Пользователь может в голос проклинать приложение и после успешного выполнения сценария переключиться на конкурентов, но показатели конверсии (отношение количества тех, кто прошел путь до конца, к количеству тех, кто начал) будут в районе 98 %.
Затем наши эксперты по исследованию данных (data science experts) проанализировали время, которое пользователи проводят на первой странице, и выявили, что в варианте с кнопкой люди в среднем проводят меньше времени, чем в версии с таб-баром. Следовательно, они быстрее ориентируются и быстрее обучаются.
Распределение по времени, которое пользователи проводят на первой странице. У варианта с кнопкой лучшие показатели, у варианта с таб-баром и исходной версии изменений нет
A/A-тестирование
Как вы, может быть, заметили, в моем примере варианты A и B сравнивались не только между собой (как и положено при A/B-тестировании), но и с предыдущей версией. Такое исследование называется А/А-тестированием.
Постоянное измерение того, как улучшение повлияло на метрики продукта, – важная часть культуры компании. В современных продуктовых компаниях существует практика повторяющихся встреч для мониторинга ситуации, на которых владельцы продукта рассказывают всем заинтересованным лицам о бизнес-результатах внедрения той или иной функциональности. Такие встречи позволяют учиться на чужих