Какие сбои бывают при анкетировании, проведении опросов и фокус-групп? Консультант по маркетингу и креатор Анастасия Серегина разбирает ошибки формы и содержания, которые влияют на проведение исследования — и корректность его результатов.
Ясень, тополь, осень, дождь, месяц, облако. Список адресатов, к которым герой обращался за информацией о пропавшей возлюбленной, пока не узнал, что та ему изменила. В исследованиях рынка ставки выше: «ложный» след грозит потерей клиентов и прибыли.
При этом опросы и интервью — едва ли не основа маркетинга, и уж точно — продукта. С некоторых пор качественные и количественные исследования на заказ стали почти эксклюзивной услугой: это долго, дорого и основательно. Пока разработаешь методологию и вопросы, пока соберёшь респондентов и дождёшься ответов, пока обработаешь результаты. За это время можно запустить несколько быстрых опросов, получить отклик и провалидировать гипотезы.
Обычно так и поступают: собирают фокус-группы, рассылают анкеты по почтовым рассылкам, интервьюируют знакомых и друзей друзей, опрашивают участников сообществ в соцсетях.
Самое большое искушение на этом этапе — успокоиться и решить, что мы всё знаем о рынке. Но исследование — ещё не product-market fit. И проблема даже не в том, что изучение аудитории не гарантирует успешность продукта. Опрос — это действительно мощный способ понять своего будущего или настоящего клиента. Часто сами исследования проходят так, что приводят к неверным выводам — а это напрямую влияет на продажи.
Ошибки формы
Спрашиваем не так
Для любой группы действуют одни и те же законы: к таким Тард, один из родоначальников социальной психологии, относил заражение и подражание. Если все побежали — я побежал. Что это нам даёт? Опасность фокус-групп и дискуссий, где участники опроса видят реакцию других людей.
Вы позвали первых зрителей на показ рекламного ролика или сериальный пилот. Аудитория его хвалит или ругает. Но потом ролик или сериал выходят в прокат — и интернет-оценка становится сюрпризом.
Это похоже на то, как смотрят фильм зрители кинотеатра: зал «заражается» и хохочет, тогда как в одиночестве перед экраном смартфона никто не будет реагировать так бурно. Отсюда же берут начало и все громкие «проколы» рекламных кампаний: команда маркетинга обсудила креатив внутри команды, а стоило подойти к программисту, который не в курсе предыстории или случайному человеку с улицы.
Социальная психология предостерегает: фокус-группы не помогут, если мы хотим услышать непопулярное мнение. Эксперимент Аша в середине прошлого века показал, как конформность может влиять даже на здравость суждений. Участников просили указать на линии одной длины — якобы для проверки зрения. Испытуемые находились в группе, состоящей не только из участников эксперимента, но и актёров — тех попросили давать заведомо ложные ответы. Как итог, 75% опрошенных хоть раз да пошли наперекор тому, что видели собственными глазами.
То есть человек видел длинную линию, но называл её, по примеру остальных, короткой.
В фокус-группе аудитория также стремится к выработке единой позиции: те, кто не согласен, оставят мнение при себе.
Резюме: если хотите услышать честный (и непопулярный) ответ, беседуйте с людьми по отдельности. Фокус-группы помогают раскрыть тему вглубь и «вытащить» неочевидные детали.
Спрашиваем не тех
Ошибка выборки — ужасно каверзная история. Сейчас не о банальном: наши клиенты — это мужчины 25–35 лет, а мы опрашиваем девушек. Или вместо жителей крупных городов исследуем москвичей.
В некоторых сферах выборка так же труднодоступна, как полёт в космос (если вы не Брэнсон, Безос или Шипенко). Например, нам нужны покупатели яхт. Панели с этим не справятся — это достаточно узкая аудитория. Социологи в таких случаях предлагают фокус-группу или экспертное интервью: с каждым участником нужно связаться напрямую, чтобы пригласить и замотивировать (например, подарив часы).
Как вы понимаете, часы Breguet владелец яхты себе и так может купить, поэтому его мотивация отвечать на вопросы стремится к нулю. В лучшем случае вы получите пару формальных ответов. В худшем — расширите выборку, например, до покупателей недвижимости. И то и то трудно назвать исследованием.
Что делать? Уйти от системы мер, весов и больших чисел: разговор с экспертом за обедом будет столь же информативен и подсветит «слепые» зоны, сэкономив вам время и деньги.
Резюме: если дотянуться до потенциальной целевой аудитории нельзя, поговорите с теми, кто обладает экспертизой в этой области. А потом примите решение сами.
Неравные условия
Вид помех, которые могут убить практически любой тест. То, что в науке зовётся лабораторными условиями, должно соблюдаться и в анкетировании, и в игровом тесте, и даже в опросах сториз. Если вы, конечно, хотите сделать выводы на основе результатов, а не просто развлекаете аудиторию.
Нельзя сравнивать разные носители (видео и аудио), разные по громкости образцы (между двумя джинглами человек выберет тот, что звучит громче, но будет думать, что он лучше), чёрно-белый и цветной логотипы, тексты с разным эмоциональным окрасом… Звучит очевидно? Тогда перейдём к следующему пункту.
Эмоциональное давление
Ричард Тайлер получил в 2017 году Нобелевскую премию по экономике за теорию nudge — подталкивание людей к наиболее верным для себя и общества решениям. Поведенческая психология утверждает, что человека можно разворачивать в сторону тех или иных действий так, что он даже не будет об этом подозревать.
Тайлер разбирает пример перетасовки продуктов на прилавке в школьной столовой (администрация убрала чипсы и шоколадки со средней полки, как самой доступной, заменив их на фрукты и салаты), после чего дети стали есть меньше фастфуда.
Точно так же мы можем делать nudge в сторону одного из вариантов: то, что сам исследователь вкладывает вольно (если хочет повлиять на результаты), или невольно.
a. Бренд должен звучать нейтрально и сухо.
b. Бренд должен звучать приветливо — как классная современная компания.
В этих пунктах мы спрашиваем аудиторию про будущий язык коммуникаций. Очевидно, что человек, составлявший опросник, уверен, что клиенты хотят дружелюбный tone-of-voice. Так спрашивать нельзя.
Есть разница между рабочей гипотезой и фаворитом. Смысл исследования заключается в том, чтобы быть готовым отбросить один из вариантов, даже если он кажется наиболее подходящим. И проводить тест непредвзято.
Кстати, этот сбой работает в обе стороны: бывают респонденты, отвечающие резким негативом на «выделяющийся» пункт.
Вот ещё пример сравнения круглого и горячего.
Мы проводим опрос, посвящённый работе поддержки.
Ответьте, пожалуйста, какое сообщение вам кажется наиболее подходящим?
a. Мы получили ваше сообщение, но сейчас все операторы заняты. Мы ответим в течение нескольких часов.
b. Мы получили ваше сообщение и кидаем жребий, кому достанется право ответа. Везунчик свяжется с вами в понедельник утром.
Как распределятся голоса?
Изначально опрос затевался, чтобы узнать, чтó клиента устраивает больше: обещание скорого ответа и временной промежуток, или более долгое ожидание и конкретное время.
Добавив юмор, мы спутали все карты: теперь часть аудитории выберет второй вариант, просто потому что он звучит симпатичнее и вызывает тёплые эмоции.
Кто-то читал по диагонали и вовсе не понял, что варианты отличаются по существу. В итоге после этого теста продуктолог (или руководитель поддержки) решит, что клиенты могут подождать до понедельника и график менять не надо.
Резюме: убирайте любые «вензеля», которые могут повлиять на выбор варианта: эпитеты, эмоционально окрашенные слова, метафоры. Тестируется юмор — добавляйте его в оба варианта ответа (но вообще юмор по умолчанию помогает коммуникации — не тратьтесь на тест).
«Три П: пол, палец, потолок»
Если вы примерно понимаете, что сейчас надо улучшить, то можете выделить это в тест. Например, у веб-страницы изменился заголовок. Все остальные элементы остались прежними. В этом случае вероятность шумов сведена к минимуму. Варианты отличаются между собой только по одному пункту.
Другая ситуация: тестируем сразу всё. Вообще всё. Расположение блоков, описания, количество кнопок, работу call-to-action… Иногда это вызвано спешкой («где-то да попадаем, там разберёмся»), иногда — непониманием, что исследовать (текст? прототип? дизайн? контакты?), но в целом выглядит именно как метод «пальцем в небо».
Например, у вас гипотеза, что красный цвет фона не подходит главной странице, потому что конфликтует с категорией (детское питание) и сокращает время пребывания на сайте. Может быть гипотезой? Вполне. Нужно сделать два варианта главной и сравнить их между собой. Но если показать респонденту один макет и попросить высказаться: «А какие ассоциации у вас вызывает красный цвет? А вы ушли со страницы случайно не из-за фона?» — вряд ли в ответ вы услышите нечто конкретное.
Ещё хуже тестировать два дизайна главной, где изменены все элементы, а не только фон — получите шумы, усиленные в сотню раз.
Резюме: если исследуем конверсию шапки сайта — но рисуем разные дизайны этого блока, не трогая остальное, и отправляем на A/B. Если стои́т задача сменить предложение или оффер, то тестируем разные варианты текста — и так далее.
Ошибки содержания
Бессмысленность
Тестировать нужно только то, что реально двигает к результату. «Заигрывание» с клиентом всегда чувствуется: по большому счёту, всенародные выборы маскота или разработка дизайна логотипа «всем двором» смотрятся как популяризаторство. Есть отрасли, в которых экспертность сто́ит выше, чем оценка аудитории. Скажем, политическую программу никто не станет разрабатывать совместно с электоратом (даже прямая демократия имеет ограничение на допуск к участию в голосовании).
Здесь же и канонический пример Генри Форда и лошади, и реакция на любой ребрендинг крупной компании: ни разу изменения не были встречены овациями. Ни разу. Всегда найдётся кто-то недовольный. А теперь представьте, что этот срез недовольных вы получите до принятия решения. В чём тогда смысл исследования, если оно только запутывает?
Если все результаты показывают, что клиентам не нравится зелёный цвет логотипа, а вам нравится — вы зря проводите исследование. И зря в основном потому, что логотип сам по себе не повлияет на продажи. Никому в голову не пришло бы сказать Стиву Джобсу, что надкушенное яблоко станет причиной успеха или неуспеха компании Apple.
Резюме: не исследуйте второстепенное. Единственное исключение из правил: если вы хотите таким способом привлечь к себе внимание («не важно, что говорят, лишь бы говорили»). Тогда можно даже выбирать название компании сообща, лишь бы СМИ писали. Но только если вы потом действительно используете выбранное название.
Клиент не отвечает за слова
Когда опрос становится проверкой будущего спроса, это может привести к разочарованию. «Вы нас купите?»
Обычно исследователи объясняют, что ответ ни к чему не обязывает и многие отвечают легкомысленно, тогда как при реальной покупке клиент рискует деньгами, поэтому подумает дважды. Но давайте посмотрим правде в глаза: половина тех же исследователей сама провоцирует ответ «да». Человек проходит опрос за вознаграждение или скидку (и принимает правила игры, выдавая социально приемлемый результат), отвечает на вопросы знакомых или друзей друзей (обычно так набираются первые бета-тестеры).
Но ввести в заблуждение могут даже ответы незнакомых с брендом людей, если анкета была составлена с ошибками.
a. Могли бы вы купить наш товар, если увидите его в продаже?
b. Вы хотите купить наш товар?
Первый вариант за счёт сослагательного наклонения и неопределённости воспринимается как размытое будущее. «Когда-то», «при определённых условиях»… В общем, это даже и не вопрос, а некая вероятность. Конечно, при неких обстоятельствах и возможностях… А вот на второй вопрос дать однозначный утвердительный ответ труднее.
Резюме: не сто́ит полагаться на опросы как на обещания или гарантию спроса. И чем более точно сформулирован вопрос — тем больше шанс услышать приближенный к истине ответ.
Вывод из всего этого простой: сбои неизбежны, если исследователь пристрастен, не знает, что ищет или не владеет методологией. Но это не значит, что из-за этого нужно отказываться от исследований в целом.
В конце концов, ошибок бояться — в лес не ходить бизнес не делать.
___
by Anastasia Seregina
source: Cossa.ru
