Блог

Фальсификации: как распознать «нарисованные» анкеты

Зачем они это делают

Первое, что нужно принять: фальсификация — это редко про злодея, который сознательно портит исследование. Чаще это про человека в неудобных обстоятельствах.
Невыполнимая квота. Интервьюеру нужно найти десять мужчин 25–34 с доходом выше среднего в спальном районе в будний день. К вечеру у него три анкеты и оплата за смену, которая не покрывает дорогу. Соблазн «доделать» велик.

Оплата за анкету без оплаты за время. Если платят только за результат, каждый отказ респондента — это потерянные деньги. Система сама подталкивает к тому, чтобы отказов «не было».

Ощущение, что никто не проверяет. Если интервьюер работал на трёх проектах и ни разу не получил ни одного вопроса по своим анкетам, он делает естественный вывод.

Частичная фальсификация как «оптимизация». Самый распространённый вариант. Респондент реальный, но интервью прервалось на половине — и интервьюер дописывает остальное сам, «чтобы не пропадало». Или задаёт только скринер и ключевые вопросы, а длинный блок про отношение к бренду заполняет наугад. Сам он это фальсификацией не считает.
Понимание мотивов нужно не для сочувствия, а для профилактики. Половина фальсификаций исчезает, если квоты реалистичны, оплата справедлива и контроль виден. Об этом был чек-лист перед запуском.

Признаки на уровне отдельной анкеты

Одна подозрительная анкета ничего не доказывает. Но вот на что я смотрю.

Длительность. Если среднее интервью идёт пятнадцать минут, а конкретное — пять, человек либо пропустил половину вопросов, либо не задавал их вовсе. Электронные системы фиксируют время автоматически; в бумажных анкетах смотрю на время начала и окончания, которые интервьюер проставляет сам, — и на то, не слишком ли они круглые.

Открытые вопросы. Самый надёжный индикатор. Реальные люди отвечают неровно: кто-то одним словом, кто-то абзацем, кто-то не по теме. Нарисованные ответы однотипные, короткие, грамотные и подозрительно соответствуют тому, что ожидал услышать автор анкеты. Фраза «нравится качество и цена» в семи анкетах подряд — это не респонденты, это интервьюер.

Отсутствие пропусков и затруднений. В живом интервью люди не знают ответа, отказываются отвечать, просят повторить. Анкета, где заполнено абсолютно всё и нет ни одного «затрудняюсь», выглядит слишком хорошо.

Шкалы. Ответы по шкалам «ровные» — все пятёрки, все четвёрки, или аккуратный зигзаг. Реальные респонденты противоречат себе: ставят высокую оценку бренду и низкую — его ключевому атрибуту.

Логические нестыковки. Респондент не пользуется продуктом, но подробно оценивает упаковку. Не имеет детей, но указывает возраст младшего ребёнка. Такие вещи ловят автоматические проверки — и о них будет отдельная статья.

Паспортичка. Точное попадание в недостающие квоты. Если в среду не хватало мужчин 45–54 с высшим образованием, а в четверг пришли восемь анкет ровно таких — я хочу послушать аудио.

Признаки на уровне интервьюера

Здесь картина складывается из статистики, и она надёжнее, чем отдельная анкета.

Производительность. Два раза выше средней по проекту — повод посмотреть внимательно. Помните заводскую проходную: иногда объяснение есть. Но чаще нет.

Доля отказов. У честного интервьюера на уличном опросе отказывается больше половины обратившихся. Если в листе контактов у человека 20 обращений и 19 согласий — он либо гений общения, либо не заполняет лист контактов честно.

Кучность. Все анкеты сделаны за один короткий промежуток времени. Геометки совпадают до метра там, где интервьюер должен был двигаться по маршруту. Серия интервью с одинаковыми интервалами, будто по таймеру.

Структура ответов внутри его массива. Сравниваем распределения ответов у конкретного интервьюера с общими по городу. Если у всех «затрудняюсь ответить» даёт 10 %, а у него 0 %; если у всех лояльность к бренду 40 %, а у него 75 % — это сигнал.

Поведение. Не сдаёт аудио «потому что телефон сел», не отвечает на уточняющие вопросы по анкетам, нервничает при упоминании контрольного обзвона. Мы стараемся не делать выводов из поведения — люди нервничают по разным причинам, — но добавляю это к общей картине.

Что делать при подозрении

Алгоритм у нас такой, и он работает только при соблюдении порядка.

Шаг 1. Молчать. Пока нет доказательств — ничего не говорить интервьюеру. Иначе он либо обидится, если невиновен, либо успеет подготовить объяснения и «подчистить» остальное, если виновен.

Шаг 2. Слушать аудио. Не две записи, как в обычном режиме, а все, которые есть. Ищем то, что не подделать: голос респондента, фоновый шум точки опроса, естественные паузы, переспросы. Если аудио нет или оно обрывается на скринере — это само по себе ответ.

Шаг 3. Контрольный обзвон. Звоним респондентам из его анкет сама или через контролёра. Минимум пять-шесть человек. Вопросы простые: проводился ли с вами опрос, когда, примерно о чём, сколько длился. Два-три «нет, не было такого» при реальных дозвонах — достаточно. Важно учитывать: часть людей не вспомнит опрос, часть даст неправильный номер случайно. Поэтому решение не по одному звонку.

Шаг 4. Сравнить с объяснением. Только теперь — разговор с интервьюером. Спокойный, без обвинений: «У меня по вашим анкетам есть вопросы, расскажите, как проходила работа во вторник». Иногда объяснение есть и оно проверяемо. Чаще его нет.

Шаг 5. Решение по массиву. Если фальсификация доказана, выбраковываем все анкеты интервьюера по проекту, а не только те, что не прошли контроль. Логика простая: если человек нарисовал пять анкет из тридцати, мы не можем доказать, что остальные двадцать пять настоящие. Для клиента это честнее, чем оставить массив с неизвестной долей мусора.

Шаг 6. Решение по человеку. Сотрудничество прекращается, информация передаётся в базу интервьюеров. Исключение — та самая «оптимизация», когда интервьюер дописал прерванное интервью и честно в этом признался при первом вопросе. С такими мы разговариваем жёстко, но иногда даем второй шанс под усиленным контролем.

Что сказать клиенту

Сказать нужно обязательно, в тот же день, в рабочем отчёте. Формулировка примерно такая: обнаружены признаки фальсификации у одного интервьюера, проведена проверка, подтверждено, N анкет выбраковано, запланирован добор, сроки сохраняются (или не сохраняются — тогда новый срок).

Клиенты, которых пугает такая новость, пугаются не фальсификации — они пугаются того, что её могли бы не найти. Поэтому сообщение о выбраковке, как ни странно, работает на доверие. Гораздо хуже, если аналитик клиента сам заметит в массиве тридцать одинаковых анкет через месяц после сдачи.

Главное

Полностью исключить фальсификации невозможно. Можно сделать так, чтобы они были невыгодны, быстро обнаруживались и не доезжали до отчёта. Для этого нужно три вещи: реалистичные условия работы для интервьюеров, контроль, который виден всем с первого дня, и готовность выбраковывать данные, даже когда это срывает сроки.

Последнее — самое трудное. Но именно в этом разница между массивом, которому можно верить, и красивой таблицей.
Какие признаки фальсификации ловите вы? Были ли случаи, когда подозрение оказалось ошибкой? Пишите на elena@fieldtime.ru — в следующих статьях о контроле качества разберу самые интересные примеры.
Field Time проводит полевой этап маркетинговых исследований под ключ: рекрут респондентов, опросы, холл-тесты, фокус-группы и глубинные интервью. Подробнее — на главной странице, другие статьи — в блоге полевого менеджера.