CAWI и CATI: как выбрать метод опроса и проверить качество

Что означают CAWI и CATI

CAWI не обязательно означает опрос в панели, а CATI — случайный набор номеров. Веб-анкету могут отправить клиентам, участникам панели или посетителям определённого канала. Телефонный опрос может использовать клиентскую базу либо другой согласованный источник контактов. Отдельно оценивают метод интервью и способ формирования выборки.

Как выбрать формат под задачу

Для выбора метода полезно заранее описать решение бизнеса, критерии участия, доступные базы, материалы для показа и нужные разрезы анализа. Бриф на исследование поможет зафиксировать эти условия; разбор сметы — сравнить состав предложений.

Как набирают участников и где возникает смещение

Клиентская база описывает доступных клиентов компании. Для выводов о всём рынке она обычно недостаточна: в ней нет покупателей конкурентов и тех, кто пока ничего не купил. Онлайн-панель — источник потенциальных участников, а не автоматическая гарантия нужного состава. Важно уточнить отбор в панель и в конкретный проект, проверку профиля и участие в похожих исследованиях.

River sampling — набор участников из потока посетителей сайтов, рекламных размещений и других площадок. К результату могут сильнее тяготеть люди, которым интересна тема или приглашение. Телефонная база имеет свои границы: неверные номера, недоступность в часы звонков, отказы, отсутствие нужных групп. Эти ограничения должны быть видны в описании проекта.

Сначала определяют, о ком нужен вывод, затем — кого и каким способом реально можно привлечь. Квоты помогают контролировать наблюдаемые характеристики, например возраст и регион. Они не устраняют все различия между согласившимися и не ответившими. Взвешивание требует обоснованных ориентиров и тоже не исправляет любое смещение.

Как проходит исследование

1. Задача и программаФиксируют решение, аудитории, территорию, период, показатели и ограничения. Определяют, какие группы нужно сравнить и какие данные уже доступны.
2. Выборка и наборСогласуют источник участников, критерии допуска, объём по группам, приглашения или сценарий звонка, правила повторного контакта и завершения поля.
3. Анкета и программированиеПроверяют нейтральность формулировок, шкалы, случайный порядок вариантов там, где он нужен, и маршруты. Вопросы об опыте показывают только участникам с таким опытом.
4. ПилотПроверяют понимание, работу переходов и реальное время. Для CAWI — также мобильный экран; для CATI — чтение вслух и работу интервьюера.
5. Поле и контрольОтслеживают состав ответивших, отказы и прерывания, ошибки логики, подозрительные повторения. Существенные изменения процедуры фиксируют.
6. Подготовка данных и выводыПрименяют согласованные правила исключения и кодирования, показывают базы расчёта, описывают ограничения и связывают выводы с исходным решением.

Для подготовки инструмента доступны два образца анкеты с пояснениями. Они служат отправной точкой и требуют адаптации к способу интервью.

Что проверить в контроле качества

Для онлайн-опроса CAWI

• Проверки допуска согласуются с целью: участник понимает категорию и соответствует нужному опыту, а не просто выбирает желательный ответ.
• Повторные участия оценивают по совокупности доступных признаков. Один общий IP сам по себе не доказывает дубль.
• Очень короткое время, однотипные ответы и бессмысленный открытый текст рассматривают совместно. Одна необычная оценка не является достаточным основанием для удаления.
• Сохраняют причины исключения, количество отсеянных анкет и различия состава до и после очистки.

Для телефонного опроса CATI

• Интервьюер читает вопрос нейтрально, не подсказывает оценку и использует согласованные пояснения.
• Фиксируют исход каждой попытки: контакт, недозвон, отказ, неподходящий участник, прерванное или завершённое интервью.
• Проверяют соблюдение маршрутов и корректность внесения открытых ответов. Контрольные контакты и запись разговоров применяют только в согласованном порядке с необходимым информированием участников.
• Сравнивают работу интервьюеров: необычные распределения служат поводом для проверки процедуры, а не для подгонки ответов под ожидаемый результат.

В рекомендациях AAPOR контроль охватывает выборку, программирование, работу интервьюеров и обработку данных. Пилот и наблюдение за сбором позволяют обнаружить ошибки до завершения проекта.

Можно ли сравнивать CAWI и CATI между собой

Одинаковая формулировка ещё не гарантирует одинаковые ответы. Pew Research Center описывает эффект способа интервью: при разговоре с человеком и самостоятельном заполнении ответы на один вопрос иногда различаются. Направление и величину различий нельзя заранее считать одинаковыми для всех тем.

Если компания меняет телефонную волну на онлайн, изменение NPS или узнаваемости может быть связано и с форматом, и с составом ответивших. Зафиксируйте формулировки и правила расчёта; по возможности проведите переходную проверку двух способов на сопоставимых аудиториях. Без такой проверки разрыв между волнами нужно прямо обозначить в отчёте.

При смешанном сборе заранее определите, кто получает каждый канал, как исключается повторное участие и как объединяются данные. Нельзя просто сложить две удобные выборки и назвать результат репрезентативным. Также нельзя приписывать добровольной выборке погрешность случайной выборки без дополнительных предпосылок.

Что должно быть в результате исследования

• Целевая аудитория, география и даты полевого этапа.
• Источник участников, критерии отбора, квоты и число завершённых и исключённых анкет.
• Текст анкеты с переходами, канал интервью, правила кодирования и расчёта показателей.
• Обезличенные данные в согласованном составе, таблицы с базой каждого показателя, описание весов, если они применялись.
• Выводы для исходной задачи и ограничения: какие группы не покрыты, где мало наблюдений, какие гипотезы требуют дальнейшей проверки.

В кейсе расширения сети клиник отдельно изучались действующие пациенты и потенциальная аудитория. Это пример необходимости различать аудитории при интерпретации ответов; показатели интереса не равны фактическому спросу или доле всего рынка.

Best Service проводит опросы потребителей и целевой аудитории. На этапе обсуждения проекта согласуем задачи, способ набора, анкету, контроль и формат отчёта. Для измерения клиентского опыта смотрите также NPS и CSI.

Выбор метода на практике

При исследовании узнаваемости бренда важно одинаково задавать вопросы без подсказки и со списком марок, а при повторных замерах — учитывать канал и состав аудитории. В исследованиях для производителей продуктов питания онлайн-опрос помогает изучать заявленные покупки и выбор; оценка вкуса требует отдельной процедуры с образцами продукта.

• Онлайн-опрос покупателей соусов показывает применение river sampling и отбора по недавнему опыту покупки. Ограничения выборки приведены в самом кейсе.
• Кейсы измерения узнаваемости бренда включают уличные и онлайн-опросы. Они помогают увидеть, почему способ набора и формулировки вопросов нужно описывать для каждой волны.
• Кейсы оценки лояльности потребителей показывают связь NPS с вопросами о причинах оценки. При подготовке аналогичной задачи канал и выборку согласуют отдельно.