Контрольные вопросы: зачем проверять качество ответов респондентов?

Когда респонденты отвечают невнимательно или наугад, исследователь получает искаженные данные. В результате бизнес принимает решения, опираясь на ложные инсайты, а бюджет на исследование превращается в бессмысленные расходы. 

Избежать этого помогают контрольные вопросы. Они позволяют исключить невнимательных респондентов и делают аналитику точнее. 

Из этой статьи вы узнаете:

• почему даже правильно составленные анкеты дают «грязные» данные;
• как проверить качество ответов респондентов;
• как органично встроить контрольные вопросы в анкету;
• что делать с анкетами, которые вызывают сомнение: удалять, перевзвешивать или привлекать других участников?

Какие бывают вопросы в анкете?

Вопросы делят на четыре типа: основные, буферные, контактные и контрольные. А основные — на открытые, закрытые и полузакрытые.

• Основные вопросы собирают информацию по теме исследования; 
• Буферные переключают внимание респондента при переходе к новому блоку вопросов;
• Контактные формируют доброжелательные отношения между респондентом и исследователем;
• Контрольные проверяют, насколько честно и внимательно отвечают респонденты. 

Подробнее о типах вопросов — в статье “Анкетолога”. 

Что такое контрольный вопрос? 

Контрольный вопрос — это вопрос, с помощью которого оценивают внимательность респондента и достоверность его ответов. 

В отличие от основных, он не дает инсайтов по теме. Поэтому контрольный вопрос предполагает только один ответ.

Цель контрольных вопросов — улучшить качество данных и исключить искажения, возникающие из-за невнимательности, усталости или недобросовестности респондента.

Основные типы контрольных вопросов

Обычно контрольные вопросы делят на две группы: 

• те, что проверяют внимательность;
• те, что проверяют искренность и достоверность ответов.

Отметим, что общепринятой классификации нет. Но можно выделить несколько основных типов.

• Вопрос на внимательность (Instructional Manipulation Check)

Проверяет, насколько внимательно респондент читает вопросы анкеты. 

Обычно это вопрос с простой инструкцией. 

Это самый частый метод контроля в онлайн-опросах. 

Пример: 

«Если вы читаете это, выберете “Я прочитал(а) инструкцию”».

«Выберете “Согласен” в этом пункте». 

• Вопрос на согласованность (Consistency Check Question)

Проверяет, как более ранние ответы респондента соотносятся с последующими. 

Пример:

Вопрос №1: «Вы часто пьете кофе?» — ответ «Каждый день». 

Контрольный вопрос: «Сколько чашек кофе вы выпиваете в неделю?» — ответ «Ноль».

Ответы противоречат друг другу. Это говорит о том, что респондент невнимателен или намеренно искажает ответы. 

• Логико-смысловой контрольный вопрос (Logic-Based Attention Check) 

Проверяет, насколько респондент вникает в смысл вопроса. 

Чтобы правильно ответить, надо решить простую задачу на логику. 

Пример:

«Выберете следующую цифру после 4».

«Что из перечисленного — не фрукт: яблоко, банан, свекла, груша?».

• Детекторные вопросы: «ловушки» и «селедки»

Это особый тип контрольных вопросов. Они сформулированы так, чтобы выявить ложь или неискренность. 

Часто включают парадоксальные формулировки, чтобы “поймать” недобросовестного участника. 

Вопрос-ловушка (Bogus Item) 

Проверяет честность ответов с помощью упоминания вымышленных фактов, брендов или событий. 

Пример: «Какой бренд бытовой техники вы предпочитаете: Bosch, Samsung, Redmond или Brandonix?». 

Бренда Brandonix не существует. Если респондент выбирает его, значит он отвечает наугад. 

Отвлекающий вопрос или «Вопрос-селедка» (Red Herring Question)

Содержит заведомо абсурдное утверждение. 

Пример:

«Вы когда-нибудь пользовались мобильным телефоном?». 

Онлайн-опрос исключает вариант ответа «Нет». Если участник выбирает его, значит он отвечает недобросовестно.

💡 Совет: используйте разные вопросы  — на внимательность, логику и согласованность. Так вы получите более точный результат и исключите случайные ошибки.

Как встроить контрольные вопросы в анкету

Контрольные вопросы эффективны только, когда органично встроены в анкету. 

Ниже — принципы, которые помогут избежать ошибок.

• Сначала сформулируйте основные вопросы, затем — контрольные 

Так все вопросы в анкете будут звучать естественно, и респондент не догадается о том, что его проверяют;

• Делайте “паузу” между основными и контрольными вопросами

Не ставьте их подряд — оставляйте между ними 3–5 основных вопросов.

Доля контрольных вопросов не должна превышать 5-15% от общего числа. 

Если опрос короткий — до 20 пунктов, то достаточно одного вопроса на внимательность и одного на согласованность;

• Не делайте проверку очевидной

Когда участник опроса знает, что его тестируют, он задумывается над ответами. 

Это искажает результаты. Контролируйте мягко и естественно; 

• Формулируйте просто 

Избегайте сложных конструкций, терминов и двусмысленности. Вопрос должен звучать понятно для участников с разным опытом и уровнем образования.

Технические приемы контроля в онлайн-опросах

Используйте контрольные вопросы вместе с техническими инструментами контроля. Так их эффективность будет еще выше. 

Сегодня сервисы онлайн-опросов анализируют поведение респондентов еще на этапе заполнения формы. Ниже — способы, как это сделать. 

• Контроль времени

«Анкетолог» фиксирует, как долго респондент отвечает на вопрос. На платформе также можно задать минимальный интервал для ответа.

Так можно исключить респондентов, которые отвечают слишком быстро;

• Запрет на шаг назад

Чтобы респондент не мог изменить ответ, заметив несогласованность, можно включить опцию «запрет на возврат». 

Это помогает избежать правок «задним числом»;

• Встроенные «скрытые» поля

В анкете можно настроить правила логического перехода. Определенные вопросы будут видны только тем участникам, кто прошел опрос слишком быстро. 

Подробнее о настройке ветвлений читайте на сайте “Анкетолога”. 

Ошибки при составлении контрольных вопросов

• Предсказуемое «размещение» вопросов

Если элементы контроля всегда стоят в начале, середине или конце анкеты, опытные респонденты быстро замечают закономерность. 

В результате участники отвечают внимательно только тогда, когда «ждут ловушку». А остальные вопросы проходят на автомате.

Как исправить: размещайте контрольные вопросы в случайном порядке и чередуйте форматы.

• Слишком очевидные «ловушки»

Вопросы вроде «Вы сейчас отвечаете честно?» или «Небо — голубое?» выглядят неестественно и поэтому могут снизить мотивацию участника проходить анкету до конца. 

Как исправить: формулируйте контрольные вопросы так, чтобы они не выбивались из общей логики анкеты.

• Игнорирование культурных и языковых отличий

Упоминание брендов, локаций и реалий, незнакомых части аудитории, может запутать даже внимательного человека. 

Пример: если вы спрашиваете «Как часто вы ходите в продуктовые магазины?», не уточняйте «Покупаете ли вы продукты в “Пятерочке”»?.

Даже если респондент регулярно делает оффлайн-покупки, но живёт в регионе, где этой сети нет — например, на Дальнем Востоке или в небольшом городе, — он может ответить «Нет» просто потому, что не знает эту сеть.

Как исправить: используйте универсальные вопросы, которые будут понятны всем респондентам независимо от места проживания, уровня образования или дохода. 

• Один вид контрольного вопроса на всю анкету

Если проверять только внимательность участников («Выберите цифру три в этом вопросе»), результаты будут искаженными. 

Как исправить: комбинируйте разные типы контрольных вопросов — на внимательность, согласованность и логику. Это обеспечит более точную фильтрацию ответов. 

• Проблема с отображением на мобильных устройствах

Проходя опрос с телефона, легко промахнуться и выбрать не тот вариант. 

Как исправить: сделайте так, чтобы контрольные вопросы были видны без прокрутки, а варианты ответов — хорошо разделены и легко нажимались. Это снизит число мискликов. 

Понятный визуал влияет на качество ответов не меньше, чем элементы контроля.  

Как обработать результаты опроса? 

Вы составили контрольные вопросы, внедрили их в анкету и выяснили, что не все респонденты честны и внимательны. Что делать дальше?

Ошибка — оценивать отдельные сбои, а не совокупность признаков. Ниже — некоторые из них. 

• Частота пропусков

Если респондент отмечает “Затрудняюсь ответить” в 20-30% вопросов, такие ответы теряют аналитическую ценность. 

Рассматривайте такую анкету как частично неполную. 

• Однотипные ответы

Когда респондент отвечает “Абсолютно согласен” в тридцати вопросах подряд или выбирает одну и ту же цифру по шкале от 1 до 10, это может указывать на автоматические ответы.

Даже если все контрольные вопросы пройдены, такое поведение — повод дополнительно проверить анкету.

• Количество ошибок

Если респондент ошибся в одном из трех контрольных вопросов, его анкета становится «подозрительной».

В двух и более — почти всегда признак невнимательности или случайных ответов.

Анкету респондента, который ответил на все контрольные вопросы неправильно, лучше исключать.

Как вернуть репрезентативность выборки после обработки данных?

После фильтрации ответов структура выборки может измениться.

Например, в ней станет меньше мужчин, жителей отдельных регионов или представителей нужных возрастных групп.

Чтобы сохранить точность анализа, важно скорректировать полученные данные. Это можно сделать двумя способами. 

• Перевзвешивание (re-weighting)

После исключения ненадежных респондентов вес оставшихся анкет пересчитывают так, чтобы выборка снова отражала реальную структуру аудитории по ключевым параметрам — полу, возрасту, региону, доходу.

Пример:

До фильтрации мужчин и женщин было поровну — по 50%.

После удаления части анкет мужчин стало 30%, а женщин — 70%.

Чтобы восстановить баланс, мужским анкетам присваивают больший вес.

Так средние значения возвращаются к исходным пропорциям, и результаты остаются корректными.

• Увеличение выборки

Если после фильтрации анкет оказалось слишком мало, добавьте новых респондентов.

💡 Совет: на этапе подготовки исследования соберите на 10-20% больше анкет, чем нужно по расчетам. Тогда даже после отбраковки количество анкет будет достаточным.

Практические примеры и шаблоны контрольных вопросов 

Чек-лист перед запуском опроса

Перед запуском онлайн-опроса убедитесь, что:

• В опросе есть хотя бы один контрольный вопрос; 
• Контрольные вопросы звучат естественно и не выбиваются из общей логики анкеты;
• Формулировки простые и недвусмысленные. В них нет профессиональной лексики и сложных отсылок;
• Контрольные вопросы не повторяют друг друга — респонденты быстро учатся замечать “ловушки”; 
• Учитываются не только ошибки, но и поведение респондента: скорость, пропуски, однотипные реакции.
• Результаты опроса обработаны: рассчитана доля невалидных анкет, восстановлен баланс выборки, внесены корректировки. 

Создайте тестовую анкету в «Анкетологе» и настройте контрольные вопросы, чтобы протестировать их перед запуском опроса.

Платформа возвращает деньги за некорректные ответы респондентов. Для этого подайте жалобу в личном кабинете. Когда модератор одобрит ее, деньги за такие анкеты автоматически вернутся на ваш счет.