ЗАКЛЮЧЕНИЕ ЭКСПЕРТНОГО СОВЕТА ОЮЛ «НАЦИОНАЛЬНАЯ МЕДИА АССОЦИАЦИЯ»
Город Алматы, 5 октября 2023 года
Используемые в тексте Заключения понятия:
НМА – ОЮЛ «Национальная Медиа Ассоциация»
ЭС – Экспертный совет НМА
ТНС, Kantar – «K Research Central Asia» – Измеритель
В работе ЭС (посредством дистанционного участия) принимали участие председатель НМА, исполнительный секретарь НМА и эксперты:
- Дина Панова
- Денис Альховский
- Вячеслав Федореев
- Денис Филенков
- Ольга Круглун
- Сабина Сундетова
Констатируется наличие кворума ЭС в количестве 5 человек.
Также участвовал представители K-Research: Александр Емельянов
ПОВЕСТКА дня:
- Обсуждение записей интервью с респондентами по установочному исследованию
- Обсуждение графика выполнения установочного исследования
- Обсуждение рекомендации 3М3А. 2х кратное увеличение выборки УИ с переходом на CATI
- Обсуждение рекомендации 3М3А. Избежание уличных интервью.
- Обсуждение рекомендации 3М3А. Статус on-Holiday
- Обсуждение рекомендации 3М3А. Контроль и улучшение частоты репортинга респондентов
- Обсуждение рекомендации 3М3А. Значимое сокращение количества ячеек. Улучшение диапазонов отклонений. RIM взвешивание.
- Обсуждение рекомендации 3М3А. Качество кодирования сигнала
- Обсуждение рекомендации 3М3А. Кодирование онлайн вещания.
ПОСТАНОВИЛИ:
Вопрос 1. Обсуждение записей интервью с респондентами по установочному исследованию
Эксперты обсудили свои мнения по прослушанным интервью.
Александр Емельянов подчеркнул, что особенностью Computer-Assisted Telephone Interviewing (далее CATI) опроса является то, что чем короче список вопросов, тем проще респондентам на них отвечать.
Денис Альховский заметил, что при создании анкеты старались сохранить как можно больше вопросов из ранее используемых Face-to-Face (далее F2F) опросов.
Вячеслав Федореев спросил, есть ли разница в проценте людей, завершающих анкету в CATI и F2F, Александр Емельянов ответил, что существенной разницы нет.
Инициатор вопроса, эксперт Ольга Круглун, выразила свою удовлетворенность результатами.
Вопрос 2. Обсуждение графика выполнения установочного исследования
Александр Емельянов представил текущий график выполнения установочного исследования (далее УИ). Предварительные данные по осведомлённости о приеме ТВ каналов могут быть предоставлены, предположительно, во второй половине ноября.
Вопросов по графику от экспертов не получено.
Статус обсуждения – ожидание финального графика выполнения УИ.
Вопрос 3. Обсуждение рекомендации 3М3А. 2х кратное увеличение выборки УИ. Приоритет от аудиторов 3M3A – Средний. Цель – обеспечение достаточного источника рекрутинга домохозяйств.
В рамках обсуждения Александр Емельянов дал пояснения по рекомендации аудиторов. В ходе УИ респондентам предлагается участие на постоянной основе в исследованиях. Те, кто выразили готовность участвовать, попадают в базу приоритетного панельного резерва. Тех, кто отказался, также заносят в эту базу, но как менее заинтересованных. Когда домохозяйство прекращает участие в панели (по собственному решению или из-за ротации), K-Research обращается к базе панельного резерва для замены. Желательно, чтобы этого резерва хватало минимум на год. Согласно аудиторскому отчету, 63% участников панели были привлечены из УИ. Остальные пришли из дополнительных источников, например, MMI. Чтобы избавиться от необходимости использования таких дополнительных источников, аудиторы рекомендуют увеличить выборку УИ в два раза. Либо запустить рекрутинговые интервью на основе той же методологии УИ, но с сокращенной анкетой, сохраняя единую методику.
Сложность в текущей ситуация связана с принудительной ротацией, до того, как это стали делать и принудительно убирать из панели домохозяйства, уровень ротации составлял 16-18 процентов в год. В принципе это было приемлемо для выборки УИ. Однако, в текущем году уровень ротации более 40% ввиду принудительной ротации. В связи с чем, уровень ротации увеличился значимо выше международной рекомендуемой доли 25%, домохозяйств в УИ не хватает.
K-Research рекомендует оставить принудительную ротацию, но увеличить ее с 5 лет до 8 лет и больше. Этот шаг позволит сократить уровень годовой ротации до рекомендуемых 20%-25% и сократить количество необходимого рекрута, также в этой ситуации не нужно увеличивать выборку УИ в 2 раза. В случае, если выборки УИ не хватит, то K-Research сами будут заниматься дополнительным рекрутом без привлечения дополнительных средств или просьб о них.
Эксперт Ольга Круглун – попросила добавить следующую информацию. В случае если требования к ротации остаются без изменения, то увеличение размера выборки будет стоить Х тенге. Данная информация необходима, чтобы разница бюджетов была очевидной и была платформа для выбора – оставляем как сейчас, стоимость Х, увеличиваем рекрут до 8 лет, то стоимость без увеличения.
Единогласная позиция ЭС рекомендовать принять предложение K-Research об увеличение ротации до 8 лет и вынести это голосование на конференции НМА.
Вопрос 4. Избежание уличных интервью. Приоритет от аудиторов 3M3A – Низкая. Цель – уличные интервью недостаточно случайны
Александр Емельянов заметил, что при методологии CATI проведение уличных интервью физически исключено. В ситуации проведения дополнительного рекрутинга, в случае, если респонденты ответят, что опрос был сделан около дома, то таких респондентов рассматривать не будут. Переход минимизирует вероятность проведения уличных интервью.
Вопрос 5. Статус on-Holiday. Приоритет от аудиторов 3M3A – Низкий. Цель – Приведение в соответствие с международными стандартами.
По результатам обсуждения экперты пришли к выводу, что для принятия решения необходим дополнительный анализ/ ре-процессинг данных на основе Августа 2023 года с учетом on-Holiday и без него. Решение данного вопроса будет принято на конференции НМА.
Вопрос 6. Контроль и улучшение частоты репортинга респондентов. Приоритет от аудиторов 3M3A – Высокий. Цель – увеличить продолжительность непрерывного репортинга на уровне респондентов
Александр Емельянов заметил, что в исследовании учитывается время ношения устройства респондентами. Нередко случается, что на выходных респонденты носят устройство меньше времени, чем требуется для прохождения валидации. Это приводит к исключению их из долгосрочного отчета. Возможно, стоит рассмотреть пороги валидации по времени ношения устройства. Вместо стандартных 4 часов можем попробовать рассмотреть 3, 2 и даже 1 час. В рамках теста K-Research проведет исследование, как эти изменения отразятся на показателях каналов и TTV, а также на частоте репортинга. Если будет выявлено, что частота репортинга (присутствие респондента в базе) увеличивается без значимых изменений в показателях каналов, то изменения в порогах валидации возможно принять. Бонусом будет увеличение среднесуточной выборки, так как меньше респондентов будет исключено из-за недостаточного времени ношения устройства.
Требование к текущей валидации – передача данных устройством, а также использование устройства не менее 4х часов в день.
Также существует вариант увеличение вознаграждения, дополняя схему вознаграждения дополнительными значимыми подарками/призами за, например, не нарушения правил участия в течении месяца, но это вызовет рост расходов на поддержку панели, которая в данный момент, в договор не заложена.
Эксперты пришли к единогласной позиции отложить данный вопрос до результатов теста. Вариант увеличения стоимости расходов эксперты единогласно решили не рассматривать.
Результат теста возможен во второй половине октября.
Вопрос 7. Значимое сокращение количества ячеек. Улучшение диапазонов отклонений. RIM взвешивание. Приоритет от аудиторов 3M3A – Высокий. Цель – некоторые ячейки очень малы, высокая нагрузка на систему взвешивания. Сокращение количества ячеек приведет к более стабильным данным.
Используемая система взвешивания слишком сложная для текущего размера панели. Размер панели соответствует международным требованиям, но количество ячеек взвешивания (85) превышает рекомендуемое в два раза. Необходимо упростить систему взвешивания, снизить весовую нагрузку на респондентов и увеличить размер ячеек.
Эксперты пришли к единогласной позиции что необходимо провести тесты по опциям 1 и 2, по результатам которых дать свои рекомендации
Опция 1: Сократить количество контрольных параметров на основе УИ 2023. Главный вопрос: рассмотрение параметров, которые можно исключить без искажения результатов.
Опция 2: Сократить географию регионов. Текущие регионы включают «Казахстан», «Алматы» и «Казахстан без Алматы». Предлагается оставить только Казахстан 100+, и взвешивание по стратам (Алматы, Астана, 200+, 100-200). Остальные параметры сворачиваются до уровня категории, без разделения на Алматы или Казахстан без Алматы.
Эксперты пришли к единогласной позиции что необходимо провести тесты по опциям 1 и 2, по результатам которых дать свои рекомендации
Вопрос 8. Качество кодирования сигнала. Приоритет от аудиторов 3M3A – Низкий. Цель – произвести дополнительный контроль качества кодирования.
Причина возможных разовых не распознаваний – короткий сеанс просмотра во время теста, возможные проблемы со звуком во время теста, либо респондент был удален от телевизора на время теста, что не позволило правильно распознать ТВ канал.
Экспертный совет пришел к мнению, что данная ситуация не требует отдельных действий.
Вопрос 9. Кодирование онлайн вещания. Приоритет от аудиторов 3M3A – Средний. Цель – проверка наличия кода в онлайн вещании.
Данные факты можно отнести только к 2м ТВ каналам, у которых нет кода в YT трансляции. Рекомендации аудитора – постараться проработать с ТВ каналами, чтобы коды были во всех средах распространения вещания, включая онлайн стриминг. K-Research на данный момент проверяет наличие кодов в онлайн вещании у всех ТВ каналов. В случае, если кода не будет у какого-либо канала, то будут проведены дополнительные переговоры с техническими отделами этих ТВ каналов на возможность использования кода в онлайн распространении.
Данный вопрос больше относится к каждому каналу, который не использует код в онлайн вещании, а не к исследователю. Данные рекомендации больше в части не исследования, а ТВ каналов.
Эксперты поддержали план работы K-Research по данному пункту.
Заключение ЭС является легитимным при наличии подписей всех членов ЭС.
ПОДПИСИ ЧЛЕНОВ ЭС:
Денис Альховский
Денис Филенков
Вячеслав Федореев
Ольга Круглун
Сабина Сундетова
