В статье про фальсификации речь шла об интервьюерах, которые придумывают анкеты. Сегодня — о другой стороне: респондентах, которые отвечают не то, что есть на самом деле. Разница принципиальная. Интервьюер, рисующий анкеты, — это нарушение, которое нужно найти и убрать. Респондент, который «врёт», — это свойство данных, с которым нужно уметь работать. Если относиться к нему как к нарушению, придётся выбраковать половину любого массива.
Почему люди отвечают не то, что есть
Слово «врёт» здесь не совсем точное. Сознательный обман — лишь один из вариантов, и далеко не самый частый. Вот основные механизмы.
Социальная желательность. Человек отвечает так, как «правильно». Он читает больше, чем читает, пьёт меньше, чем пьёт, ходит в спортзал чаще, чем ходит, и всегда голосовал. Это не ложь в бытовом смысле — это попытка выглядеть прилично перед незнакомым человеком с планшетом.
Память. Вопрос «сколько раз за последний месяц вы покупали кофе навынос» предполагает, что респондент это помнит. Он не помнит. Он прикидывает, и прикидка систематически смещена: редкие события завышаются, частые — занижаются, а всё, что было три недели назад, сливается с тем, что было два месяца назад.
Вежливость. Респондент не хочет расстраивать интервьюера, особенно если тот старался. Поэтому концепт «скорее нравится», реклама «в целом неплохая», а бренд «наверное, куплю». Чем приятнее интервьюер, тем вежливее ответы — и это отдельная проблема.
Усталость и желание закончить. На двадцатой минуте респондент перестаёт думать и начинает отвечать так, чтобы быстрее отпустили. Ответы по шкалам выравниваются, открытые вопросы сокращаются до «не знаю».
Непонимание вопроса. Человек не разобрался, что спрашивают, и ответил на тот вопрос, который понял. С его точки зрения он сказал правду.
Самообраз. Люди искренне считают себя рациональными покупателями, которые «сравнивают цены и выбирают лучшее», — и искренне в это верят, покупая каждый раз одно и то же по привычке. Здесь нет обмана вообще: респондент честно описывает человека, которым себя считает.
Выгода. Единственный вариант, где слово «врёт» уместно. Человек подгоняет ответы на скринере, чтобы попасть в исследование и получить инсентив. Или говорит интервьюеру то, что, как ему кажется, тот хочет услышать, чтобы его не отсеяли.
Социальная желательность. Человек отвечает так, как «правильно». Он читает больше, чем читает, пьёт меньше, чем пьёт, ходит в спортзал чаще, чем ходит, и всегда голосовал. Это не ложь в бытовом смысле — это попытка выглядеть прилично перед незнакомым человеком с планшетом.
Память. Вопрос «сколько раз за последний месяц вы покупали кофе навынос» предполагает, что респондент это помнит. Он не помнит. Он прикидывает, и прикидка систематически смещена: редкие события завышаются, частые — занижаются, а всё, что было три недели назад, сливается с тем, что было два месяца назад.
Вежливость. Респондент не хочет расстраивать интервьюера, особенно если тот старался. Поэтому концепт «скорее нравится», реклама «в целом неплохая», а бренд «наверное, куплю». Чем приятнее интервьюер, тем вежливее ответы — и это отдельная проблема.
Усталость и желание закончить. На двадцатой минуте респондент перестаёт думать и начинает отвечать так, чтобы быстрее отпустили. Ответы по шкалам выравниваются, открытые вопросы сокращаются до «не знаю».
Непонимание вопроса. Человек не разобрался, что спрашивают, и ответил на тот вопрос, который понял. С его точки зрения он сказал правду.
Самообраз. Люди искренне считают себя рациональными покупателями, которые «сравнивают цены и выбирают лучшее», — и искренне в это верят, покупая каждый раз одно и то же по привычке. Здесь нет обмана вообще: респондент честно описывает человека, которым себя считает.
Выгода. Единственный вариант, где слово «врёт» уместно. Человек подгоняет ответы на скринере, чтобы попасть в исследование и получить инсентив. Или говорит интервьюеру то, что, как ему кажется, тот хочет услышать, чтобы его не отсеяли.
Когда это норма
Первые шесть пунктов — норма. Не потому, что с ними всё в порядке, а потому, что они предсказуемы, систематичны и известны всем, кто работает с данными. Их учитывают на этапе дизайна, а не ловят в поле.
Несколько примеров того, как это выглядит на практике.
Декларируемое потребление всегда выше реального. Если по опросу выходит, что 60 % респондентов покупали продукт за последний месяц, а по данным продаж таких не может быть больше 35 %, это не повод выбраковывать массив. Это повод смотреть на относительные показатели — долю бренда среди покупателей, динамику между волнами — а не на абсолютные цифры.
Оценки концептов смещены вверх. Все знают, что «скорее куплю» означает в лучшем случае «не исключаю». Поэтому для прогноза берут только верхний ящик шкалы, а норматив сравнения строится на предыдущих тестах, которые были смещены так же.
Доход занижают, возраст округляют, образование завышают. Это тоже известно, и это закладывается в квоты и веса.
Иными словами: респондент отвечает не фактами, а своим представлением о фактах. Хорошее исследование это знает и либо спрашивает так, чтобы минимизировать искажение, либо интерпретирует с поправкой на него. Задача поля здесь — не «добиться правды», а обеспечить, чтобы искажение было одинаковым у всех. Если один интервьюер давит на респондентов, а другой нет, если в одном городе инсентив есть, а в другом нет, если часть анкет собрана в понедельник утром, а часть в пятницу вечером у бара — тогда искажения становятся разными, и вот это уже проблема.
Несколько примеров того, как это выглядит на практике.
Декларируемое потребление всегда выше реального. Если по опросу выходит, что 60 % респондентов покупали продукт за последний месяц, а по данным продаж таких не может быть больше 35 %, это не повод выбраковывать массив. Это повод смотреть на относительные показатели — долю бренда среди покупателей, динамику между волнами — а не на абсолютные цифры.
Оценки концептов смещены вверх. Все знают, что «скорее куплю» означает в лучшем случае «не исключаю». Поэтому для прогноза берут только верхний ящик шкалы, а норматив сравнения строится на предыдущих тестах, которые были смещены так же.
Доход занижают, возраст округляют, образование завышают. Это тоже известно, и это закладывается в квоты и веса.
Иными словами: респондент отвечает не фактами, а своим представлением о фактах. Хорошее исследование это знает и либо спрашивает так, чтобы минимизировать искажение, либо интерпретирует с поправкой на него. Задача поля здесь — не «добиться правды», а обеспечить, чтобы искажение было одинаковым у всех. Если один интервьюер давит на респондентов, а другой нет, если в одном городе инсентив есть, а в другом нет, если часть анкет собрана в понедельник утром, а часть в пятницу вечером у бара — тогда искажения становятся разными, и вот это уже проблема.
Когда это проблема
А теперь о случаях, где «врёт» действительно портит данные и требует вмешательства.
Ложь на скринере. Самый опасный вариант, потому что он подменяет выборку. Если респондент сказал, что пользуется продуктом, а на самом деле не пользуется, все его дальнейшие ответы — мнение человека не из целевой группы. На фокус-группах это ещё больнее: один «профессиональный респондент», выучивший правильные ответы на скринер, может сломать всю дискуссию. В «Записках с полей» была история про группу из подруг мастера маникюра — там скринер прошли все, и все были бесполезны.
Ложь под давлением интервьюера. Интервьюер, который торопится, подсказывает, кивает на «правильный» ответ, читает варианты с интонацией — получает не мнение респондента, а своё собственное, отражённое. Это ловится на аудио, и это причина, по которой я слушаю записи даже у самых опытных.
Ложь ради инсентива. Если вознаграждение заметно больше, чем «спасибо за время», появляются люди, для которых участие в опросе — заработок. Они приходят повторно, приводят знакомых, подгоняют ответы. Помните мужчину, который сидел на скамейке и ждал жену? Это он.
Ответы «на автомате». Прямые линии по шкалам, одно и то же «затрудняюсь» на все открытые вопросы, интервью короче минимально возможного. Это уже не искажение мнения, а отсутствие мнения в данных. Такие анкеты выбраковываются — не из-за того, что респондент плохой, а из-за того, что информации в них нет.
Групповая ложь. На фокус-группе один уверенный участник высказался — и остальные подстроились. Это не ошибка респондентов, это ошибка модератора, но полевой менеджер видит её первым и обязан сказать.
Ложь под давлением интервьюера. Интервьюер, который торопится, подсказывает, кивает на «правильный» ответ, читает варианты с интонацией — получает не мнение респондента, а своё собственное, отражённое. Это ловится на аудио, и это причина, по которой я слушаю записи даже у самых опытных.
Ложь ради инсентива. Если вознаграждение заметно больше, чем «спасибо за время», появляются люди, для которых участие в опросе — заработок. Они приходят повторно, приводят знакомых, подгоняют ответы. Помните мужчину, который сидел на скамейке и ждал жену? Это он.
Ответы «на автомате». Прямые линии по шкалам, одно и то же «затрудняюсь» на все открытые вопросы, интервью короче минимально возможного. Это уже не искажение мнения, а отсутствие мнения в данных. Такие анкеты выбраковываются — не из-за того, что респондент плохой, а из-за того, что информации в них нет.
Групповая ложь. На фокус-группе один уверенный участник высказался — и остальные подстроились. Это не ошибка респондентов, это ошибка модератора, но полевой менеджер видит её первым и обязан сказать.
Что может сделать поле
Большая часть защиты от искажений закладывается в анкету, и это зона методолога. Но есть вещи, которые зависят именно от организации сбора.
Скринер с ловушками. Не спрашивать «пользуетесь ли вы брендом X» — респондент слышит, какой ответ нужен. Спрашивать открыто: «какими брендами в этой категории пользуетесь», и уже из ответа смотреть, есть ли нужный. Добавлять контрольные вопросы: если человек «регулярно пользуется», он должен хотя бы примерно знать, сколько это стоит.
Проверка на профессионализм. Вопрос «участвовали ли вы в опросах или фокус-группах за последние полгода» — обязательный. База участников, по которой проверяется повтор, — обязательна для качественных исследований. Рекрутер, который приводит одних и тех же людей, — повод сменить рекрутера.
Инсентив в разумных пределах. Достаточно, чтобы компенсировать время, недостаточно, чтобы ради него врать. Про это будет отдельная статья, но правило простое: если люди сами просятся в опрос — вознаграждение слишком велико.
Инструктаж про нейтральность. Интервьюер не оценивает ответы, не комментирует, не помогает «выбрать», не демонстрирует, какой вариант ему удобнее. Это проговаривается на каждом инструктаже, и это одна из главных вещей, которые я слушаю в аудио.
Условия интервью. Респондент, который отвечает в присутствии жены, начальника или друзей, отвечает не то, что ответил бы один. Интервьюер должен уметь либо увести его в сторону, либо честно пометить в анкете, что интервью проходило при посторонних.
Логический контроль. Противоречия внутри анкеты — не пользуется, но оценивает; не имеет, но покупал; «очень доволен» и «точно не порекомендую» — это сигнал, что респондент либо не понял, либо не старался. Единичные противоречия — норма, их много — анкета под вопросом.
И последнее: не ругать интервьюеров за «неправильных» респондентов. Если интервьюер честно принёс анкету, где человек явно отвечал наугад, и сам отметил это в комментарии, — это хорошая работа. Плохая работа — когда он такую анкету «подправил», чтобы не было вопросов. Так из нормального искажения получается фальсификация, о которой была прошлая статья.
Скринер с ловушками. Не спрашивать «пользуетесь ли вы брендом X» — респондент слышит, какой ответ нужен. Спрашивать открыто: «какими брендами в этой категории пользуетесь», и уже из ответа смотреть, есть ли нужный. Добавлять контрольные вопросы: если человек «регулярно пользуется», он должен хотя бы примерно знать, сколько это стоит.
Проверка на профессионализм. Вопрос «участвовали ли вы в опросах или фокус-группах за последние полгода» — обязательный. База участников, по которой проверяется повтор, — обязательна для качественных исследований. Рекрутер, который приводит одних и тех же людей, — повод сменить рекрутера.
Инсентив в разумных пределах. Достаточно, чтобы компенсировать время, недостаточно, чтобы ради него врать. Про это будет отдельная статья, но правило простое: если люди сами просятся в опрос — вознаграждение слишком велико.
Инструктаж про нейтральность. Интервьюер не оценивает ответы, не комментирует, не помогает «выбрать», не демонстрирует, какой вариант ему удобнее. Это проговаривается на каждом инструктаже, и это одна из главных вещей, которые я слушаю в аудио.
Условия интервью. Респондент, который отвечает в присутствии жены, начальника или друзей, отвечает не то, что ответил бы один. Интервьюер должен уметь либо увести его в сторону, либо честно пометить в анкете, что интервью проходило при посторонних.
Логический контроль. Противоречия внутри анкеты — не пользуется, но оценивает; не имеет, но покупал; «очень доволен» и «точно не порекомендую» — это сигнал, что респондент либо не понял, либо не старался. Единичные противоречия — норма, их много — анкета под вопросом.
И последнее: не ругать интервьюеров за «неправильных» респондентов. Если интервьюер честно принёс анкету, где человек явно отвечал наугад, и сам отметил это в комментарии, — это хорошая работа. Плохая работа — когда он такую анкету «подправил», чтобы не было вопросов. Так из нормального искажения получается фальсификация, о которой была прошлая статья.
Главное
Респондент не обязан говорить правду. Он говорит то, что помнит, что считает приличным, что успел понять и что ему удобно. Это исходный материал, из которого исследование делает выводы, — и этот материал всегда таков. Проблема начинается не тогда, когда респондент искажает реальность, а когда искажение становится неравномерным, неконтролируемым или полностью вытесняет мнение.
Задача поля — не добиться правды. Задача поля — добиться одинаковых условий для всех, чтобы с искажениями потом можно было работать.
Задача поля — не добиться правды. Задача поля — добиться одинаковых условий для всех, чтобы с искажениями потом можно было работать.
А какие «честные» ответы респондентов удивляют вас больше всего? Были случаи, когда опрос показал одно, а продажи — совсем другое? Пишите на почту elena@fieldtime.ru — тема инсентивов и «профессиональных респондентов» ждёт своей статьи, и ваши примеры туда очень пригодятся.
Field Time проводит полевой этап маркетинговых исследований под ключ: рекрут респондентов, опросы, холл-тесты, фокус-группы и глубинные интервью. Подробнее — на главной странице, другие статьи — в блоге полевого менеджера.