Количественные исследования
Если качественные исследования используются скорее для того, чтобы получить от респондентов озарения и откровения о продукте, для генерации гипотез или для их логического подтверждения, то с помощью количественных исследований команды стремятся получить статистическое подтверждение гипотез и выявить корреляцию между феноменами. Как уже говорилось во введении, у продукта есть множество прямых и косвенных характеристик, определяющих его «здоровье». Ранее мы уже сравнивали метрики с градусником, показывающим температуру тела, – повышенное значение может быть симптомом, предшествующим ухудшению здоровья. Между качеством опыта и финансовыми показателями очевидна очень четкая связь, поэтому компании инвестируют деньги в исследование продуктов, определение сигнальных значений качественных метрик и ежедневный дэшбординг.[45]
Основными источниками данных для количественных исследований служат интерфейсная аналитика и опросы.
Пример карты метрик для каналов дистанционного банковского обслуживания, на основе которой разрабатывается дорожная карта сбора метрик. «Зомби» – клиенты банка, которые перестали использовать мобильный банк, но притом остались клиентами
Интерфейсная аналитика
Сбор данных о поведении пользователей в системах интерфейсной аналитики вроде Google Analytics и Яндекс.Метрика – абсолютный стандарт производства цифровых продуктов.
Система интерфейсной аналитики Yandex App Metrika позволяет получить данные об удержании пользователей, которые сталкивались / не сталкивались с конкретной функцией в приложении[46]
Это уже стало правилом производственной гигиены, как мытье рук перед едой. Scrum-команды часто вносят в пункт «Собирать данные о реализации действия в User Story…» в свои Definition of Done. Современные системы интерфейсной аналитики позволяют не только получать количественные показатели действий, но и находить корреляции с показателями жизнеспособности; например, можно обнаружить связь между использованием функции и удержанием.[47]
Данные разных систем аналитики могут значительно различаться, поэтому я рекомендую, подобно мореплавателям древности, держащим на корабле трое часов, подключать три системы аналитики. Причем одна из них должна быть вашей собственной системой логирования, чтобы данные о событиях сохранялись на собственном сервере. В этом случае, если данные одной из систем отличаются, можно делать оценку по данным двух остальных систем.[48]
Опросы
Опросы – один из старейших видов маркетинговых исследований. Для цифровых продуктов самые популярные каналы проведения опросов – социальные сети, телефонные звонки, электронная почта, СМС и анкетирование непосредственно в самом продукте. Последнее можно считать одним из самых информативных способов, так как в нем можно соотнести результаты опроса с параметрами профиля клиента и с данными интерфейсной аналитики.
Опрос в приложении «Альфа-Мобайл» помогал оценить такие метрики, как NPS, дизайн, удобство, функциональность, техническая доступность, возможность общения с банком. Опрос каждый раз открывался на небольшой репрезентативный сегмент пользователей, что позволяло оценивать параметры в динамике, сравнивать оценки задействованных / не задействованных пользователей[49] и не надоедать притом одним и тем же людям
Для опросов характерно проявление эффекта наблюдателя, когда само проведение исследования влияет на его результат. Если часто дергать пользователей с опросами, то можно наблюдать негативное смещение в ответах или игнорирование. Если вам нужно замерять состояние NPS (индекс сетевого распространения; см. подробнее во введении) в динамике, то я рекомендую не делать это каждый раз на всю генеральную совокупность, а ориентироваться каждый месяц на новую незадействованную группу пользователей – минимального размера, но достаточно репрезентативную.
Глубинные интервью
Слово «глубинный» подразумевает погружение на некий уровень, скрытый далеко под поверхностью.
Разговаривая с людьми и задавая им вопросы, не всегда можно определить их истинную мотивацию в выборе продукта и совершении каких-либо действий с ним.
Ниже мы рассмотрим популярные причины искажений:
• красивая правда;
• ложные воспоминания;
• конформизм.
Задача исследователя – копать чуть глубже, забраться под «оболочку» искажений и с помощью если не прямых, то косвенных вопросов найти истину.
Этапы глубинного интервью совпадают с этапами юзабилити-исследования:
1) определение сценария;
2) определение требований к респондентам;
3) рекрутинг респондентов;
4) вступительное icebreak-интервью;
5) погружение в контекст;
6) наблюдение за реакцией на вопросы;
7) фиксация ответов;
8) подготовка отчета.
Различие есть только в пунктах 6 и 7. Во время глубинных интервью сценарий дорабатывается значительно чаще – следовательно, нужно рассчитывать на то, что он может сильно измениться уже после первых нескольких респондентов.
Красивая правда
При знакомстве с новым человеком мы склонны если не приукрашивать свои достоинства, то хотя бы умалчивать о недостатках. Поэтому, отвечая на вопросы о своем поведении, люди часто рассказывают о поведении лучшего, социально одобряемого образа себя – того, кто потребляет более здоровую пищу, ведет более активный образ жизни и не делает ничего, что осуждается обществом. Часто пользователи сами искренне верят в красивую правду.
Например, мы спрашиваем у пользователя, почему он скачал приложение Vivino[50], и красивая правда может звучать так:
Потому что я ценю хорошее вино. Я ходил на курсы дегустаторов и, когда путешествую по Европе, дегустирую вина в разных регионах.
Некрасивая правда:
Я не разбираюсь в вине, не могу отличить хорошее от плохого, поэтому, чтобы не переплачивать, я сканирую этикетку и узнаю реальную цену.
Так как же докопаться до истины?
Прежде всего, не давать респонденту возможности сказать о себе красивую правду, чтобы он не стал заложником того, что уже сказал о себе.
Предложить описывать не себя, а какого-то другого персонажа.
Разделить комплексную потребность на базовые и задавать вопросы о них.
Также докопаться до глубин позволяет техника «5 почему».[51]
Ложные воспоминания
Исследователь в сфере когнитивистики Петтер Йоханссон организовал эксперимент, в котором просил осознанно выбрать фотографию человека. Через некоторое время он подменял выбранное фото на другое, показывал его респондентам и просил объяснить свой выбор. Большинство респондентов не только не замечали подмены, но и рационально объясняли, почему отдали предпочтение именно этому снимку.
У такого эффекта есть название – конфабуляции, или ложные воспоминания. Ложные воспоминания возникают в процессе воссоздания ситуации из прошлого, когда в памяти недостает конкретных фактов и мозг генерирует образ, исходя из других фактов, вымысла и галлюцинаций.
Как и в приведенном примере, люди иногда искренне верят в ложные воспоминания, даже если им предоставляют доказательства, опровергающие их версию.
Ложные воспоминания также могут быть следствием веры в красивую правду.
Вывод: следует очень аккуратно относиться к фактам, основанным только лишь на воспоминаниях, и предпочитать им факты, основанные на наблюдениях.
Конформизм
Конформизм – свойство разума изменять решение из-за поведения остальных людей.
Находясь в группе, люди склонны менять свое поведение. Многочисленные эксперименты показывают, что совершенно объективные действия, такие как определение самого длинного отрезка или даже арифметическое суммирование, могут искажаться под влиянием мнения большинства.
Один из самых показательных экспериментов для иллюстрации конформизма – эксперимент в лифте. Пассажир поворачивается к задней и боковым стенам, снимает и надевает шляпу под влиянием поведения других пассажиров
Чтобы этого не случилось, по возможности нужно изолировать респондентов при глубинном интервью, если только ваши исследования не подразумевают изучения того, как фактор конформизма влияет на принятие решений или групповую динамику.
Плюсы и минусы глубинных интервью
Глубинное интервью – неточный метод, очень подверженный эффекту наблюдателя.
Следовательно, не стоит использовать статистику ответов для поддержки принятия решений. Гораздо более ценным будет формулирование некрасивой правды с видеоподтверждением относительно той или иной функциональности, с которой согласна вся команда.
Моделирование персон
Можно по-разному относиться к методике моделирования персон. Предлагаю