Какие сбои бывают при анкетировании, многочисленных опросах и фокус-группах? Консультант по маркетингу и креатор Анастасия Серегина разбирает формы ошибок и содержания, которые свойственны проведению исследований — и корректность его результатов.
Ясень, тополь, осень, дождь, месяц, облако. Список владельцев, к которым причастен герой, обратился за информацией о пропавшей восвояси, пока не выяснилось, что та ему изменила. В исследованиях рынка ставок выше: «ложный» след грозит потерей клиентов и прибылью.
При этом опросы и интервью — едва ли не основа маркетинга, и уж точно — продукт. Некоторые поры стали качественными и многочисленными исследованиями на заказ почти эксклюзивной услуги: это долго, дорого и твердо. Пока разработаешь методологию и вопросы, пока соберёшь респондентов и дождёшься ответов, пока обработаешь результаты. За это время можно получить несколько быстрых опросов, получить и провалить гипотезы.
Обычно так и поступают: собирают фокус-группы, рассылают анкеты по почтовым рассылкам, информируют знакомых и друзей друзей, опрашивают участников сообществ в соцсетях.
Самое большое искушение на эту тему — успокоиться и решить, что мы все больше раскрываем о рынке. Но исследование — ещё нет соответствие продукта рынку. И даже проблема не в том, что отмечалось неблагоприятное качество продукта. Опрос — это действительно мощный способ понять свое будущее или настоящего клиента. Часто сами исследования происходят так, что результаты к неверным выводам — а это сразу видно на продажу.
Ошибки формы
Спрашиваем не так
Для любой группы возникают одни и те же законы: к такому Тард, один из родоначальников социальной психологии, относит заражение и подражание. Если все побежали — я побежал. Что это нам даёт? Опасность фокус-групп и дискуссий, где участники опроса улучшают качество других людей.
Вы разрешили просмотр показа первого ролика или серийного пилота. Аудитория его хвалит или ругает. Но ролик потом или сериал выходит в прокат — и интернет-оценка становится сюрпризом.
Это похоже на то, как смотрят фильм зрители кинотеатра: зал «заражается» и хохочет, тогда как в одиночестве перед экраном смартфона никто не будет реагировать так бурно. назначения же берут начало и все громкие «проколы» рекламных преимуществ: команда маркетинга обсудила креатив внутри команды, а стоило обратиться к программисту, который не в курсе предыстории или случайному человеку с улицами.
Социальная психология предостерегает: фокус-группы не используются, если мы ожидаем непредвиденного мнения. Эксперимент Аша в середине прошлого века показал, как конформность может варьироваться даже на здравомыслие суждений. Участников просили определить по линии одного случая заражения — выявление для проверки наблюдения. Испытуемые присутствуют в группе, состоящей не только из участников эксперимента, но и актеров — тех, кто требует давать заведомо ложные ответы. Как итог, 75% опрошенных хотя бы раз да пошли наперекор
То есть человек видел длинную линию, но называл её, по примеру остальных, короткой.
В фокус-группе аудитория также занимается выработкой единой позиции: те, кто не согласен, оставят мнение при себе.
Резюме: если хотите получить честный (и непопулярный) ответ, беседуйте с людьми по выбору. Фокус-группы помогают раскрыть тему вглубь и «вытащить» неочевидные детали.
Спрашиваем не тех
Ошибка выборки — каверзная история. Сейчас не о банальном: наши клиенты — это мужчины 25–35 лет, а мы опрашиваем девушек. Или вместо жителей крупных городов москвичей.
В некоторых случаях выбор так же труднодоступен, как полет в космос (если вы не Брэнсон, Безос или Шипенко). Например, нам нужны покупатели яхт. Панели с этим не справятся — это достаточно узкая аудитория. Социологи в таких случаях возвращают фокус-группу или экспертное интервью: с конкретными потребностями в контактах, чтобы пригласить и замотивировать (например, подарив часы).
Как вы понимаете, часы Breguet владелец яхты себе и так может купить, поэтому его мотивация тянет на запросы к использованию. В лучшем случае вы получите пару формальных ответов. В лучшем случае — расширите выборку, например, до покупателей недвижимости. И то и то трудное исследование.
Что делать? Уйти из системы мер, весов и больших чисел: разговор с экспертом за обедом будет столь же информативен и подсветит «слепые» зоны, сэкономив вам время и деньги.
Резюме: если дотянуться до предполагаемых наблюдений, нельзя, поговорите с темами, кто займется экспертизой в этой области. А потом примите решение сами.
Неравные условия
Вид помех, которые могут убить практически любой тест. То, что в науке зовётся лабораторными заболеваниями, должно соблюдаться и в анкетировании, и в игровом тестировании, и даже в опросах сториз. Если вы, конечно, хотите, чтобы получить на основе результатов, а не просто раз получить аудиторию.
Встречаются разные носители (видео и аудио), разные случаи возникновения (между двумя джинглами человек выберет тот, что звучит громче, но будет думать, что он лучше), чёрно-белый и цветной логотипы, тексты с разным эмоциональным окрасом… Звучит очевидно ? Тогда перейдём к следующему пункту.
Эмоциональное давление
Ричард Тайлер получил в 2017 году Нобелевскую толпу по экономике подтолкнуть — подталкивание людей к наиболее верным для себя и общества решениям. Поведенческая психология утверждает, что человек может действовать в стороне от тех или иных действий, что он даже не будет об этом подозревать.
Тайлер разбирает пример перетасовки продуктов на прилавке в школьной столовой (администрация убрала чипсы и шоколадки со средней полки, как самой доступной, заменив их на фрукты и салаты), после чего дети стали есть меньше фастфуда.
Точно так же мы можем сделать подталкивание в одном из вариантов: то, что сам исследователь вкладывает вольно (если хочет использовать продукты), или невольно.
а. Бренд должен звучать нейтрально и сухо.
б. Бренд должен выступать приветливо — как классная современная компания.
В этих пунктах мы спрашиваем аудиторию о будущем языке общения. Очевидно, что человек, составлявший опросник, наслаждался приятным тоном голоса. Так спрашивать нельзя.
Есть разница между рабочей гипотезой и фаворитом. Смысл исследования в том, чтобы быть готовым отказаться от одного из вариантов, даже если он кажется наиболее подходящим. И проводить тест непредвзято.
Кстати, этот сбой работает в обеих сторонах: бывают случаи, когда респонденты обсуждают резко негативный вопрос по «выделяющемуся» пункту.
Вот ещё пример сравнения круглого и горячего.
Мы провели опрос, посвящённый работе поддержки.
Ответьте, пожалуйста, какое сообщение вам кажется наиболее подходящим?
а. Мы получили ваше сообщение, но сейчас все операторы задержаны. Мы ответили в течение нескольких часов.
б. Мы получили ваше сообщение и кидаем жребий, кому достанется право ответа. Везунчик свяжется с вами в понедельник утром.
Как меняются голоса?
опрос затевался, чтобы узнать, что удалось получить больше: обещание скорого ответа и временной промежуток, или более продолжительное ожидание и конкретное время.
Добавив юмор, мы спутали все карты: теперь часть трансляции сняла второй вариант, просто потому что он звучит симпатичнее и вызывает бурные эмоции.
Кто-то читал по диагонали и неожиданно не понял, что стоит по существу. В конце концов, после этого продукта продуктолог (или руководитель поддержки) решит, что клиенты проверяют до понедельника, и график менять не надо.
Резюме: убирайте любые «вензеля», которые могут быть использованы на выбор: эпитеты, эмоционально окрашенные слова, метафоры. Тестируется юмор — добавляйте его в оба ответа на вопросы (но вообще юмор по умолчанию поддерживает общение — не тратьтесь на тест).
«Три П: пол, солнца, потолок»
Если вы примерно понимаете, что сейчас надо повысить, то можете выделить это в тесте. Например, на веб-страницах изменился заголовок. Все остальные элементы остались прежними. В этом случае вероятность шумов сведена к минимуму. Варианты назначаются между собой только по одному пункту.
Другая ситуация: тестируем сразу всё. Вообще всё. Расположение блоков, описание, количество кнопок, призыв к действию… в целом выглядит именно как метод «пальцем в небо».
Например, у вас есть предположения, что красный цвет фонарей не подходит для главной страницы, потому что конфликтует с категорией (детское питание) и предлагает время наблюдения на сайте. Может быть гипотезой? Вполне. Нужно сделать две избранные и сравнить их между собой. Но если показать респонденту один макет и попросить высказаться: «А какие ассоциации у вас вызывают красный цвет? А вы ушли со страницы случайно не из-за фонаря?» — вряд ли в ответ вы услышали конкретное явление.
Еще хуже тестировать два дизайна главной, где изменены все элементы, а не только фон — получаются шумы, усиленные в сотню раз.
Резюме: если принять конверсию шапки сайта — но рисуем разные дизайны этого блока, не трогая остальное, и отправляем на A/B. Если стоит задача сменить предложение или предложить, то тестируем разные варианты текста — и так далее.
Ошибки содержания
Бессмысленность
Тестировать нужно только то, что реально двигает к результату. «Заигрывание» с клиентом всегда представлялся: по большому счету, всенародные выборы маскота или разработка дизайна логотипа «всем двором» становился как популяризаторство. Есть отрасли, в которых есть экспертность сто́ит выше, чем оценка телевидения. Возможна, политическую программу, которая не может быть реализована с электоратом.
Здесь же и канонический пример Генри Форда и лошади были обнаружены на любом ребрендинге крупной компании: ни разу не встречались с участниками. Ни разу. Всегда найдётся кто-то недовольный. А теперь представьте, что этот срез недовольных вы получите до решения. В чем тогда смысл исследования, если оно только запутывает?
Если всем продуктам не нравится зеленый цвет логотипа, а вам нравится — вы преследуете цель провести исследование. И зря в основном потому, что логотип сам по себе не повлияет на продажу. Никому в голову не пришло бы Стиву Джобсу, что надкушенное яблоко станет причиной успеха или неуспеха компании Apple.
Резюме: не допускайте второстепенного. Исключением являются исключения из правил: если вы таким образом призываете к себе внимание («не важно, что говорят, хотя бы говорят»). Можно даже выбрать название компании. Но только если вы действительно имеете выбранное название.
Клиент не отвечает за слова
Когда опрос становится проверкой будущего спроса, это может показаться разочарованием. «Вы нас купите?»
Как правило, это означает, что ответ ни к чему не обязывает и значительно снижает легкомысленность, тогда как реальный при покупке клиентской опасности, поэтому подумает об опасности в Европе. Ответ «да». Человек проходит опрос за вознаграждение или скидку (берет правила, выдает социально приемлемый результат), отвечает на вопросы знакомых или друзей друзей (обычно так набираются первые бета-тестеры).
Если анкета была составлена с ошибками.
а. Могли бы вы купить наш товар, если увидите его в продаже?
б. Вы хотите купить наш товар?
Первый вариант за счёт сослагательного наклонения и неопределённости воспринимается как размытое будущее. «Когда-то», «при определенных условиях»… В общем, это даже и не вопрос, а некая вероятность. Конечно, при неких доказательствах и возможностях... А вот на второй вопрос дать однозначный рабочий ответ труднее.
Резюме: не сто́ит откликов на опросы, как на обещания или потребление потребления. И чем более точно построен вопрос — тем больше шансов получить доступный к истинному ответу.
Вывод из всего этого простого: сбои неизбежны, если исследователь пристрастен, не знает, что ищет или не владеет методологией. Но это не значит, что из-за этого нужно отказываться от исследований в целом.
В конце концов, ошибок бояться — в лесу не ходить бизнес не делать.
___
by Анастасия Серегина
Источник: Cossa.ru
