ЗАКЛЮЧЕНИЕ ЭКСПЕРТНОГО СОВЕТА
ОЮЛ «НАЦИОНАЛЬНАЯ МЕДИА АССОЦИАЦИЯ»
Город Алматы, 14 ноября 2023 года
Используемые в тексте Заключения понятия:
НМА – ОЮЛ «Национальная Медиа Ассоциация»
ЭС – Экспертный совет НМА
ТНС, Kantar – «K Research Central Asia» – Измеритель
В работе ЭС (посредством дистанционного участия) принимали участие председатель НМА, исполнительный секретарь НМА и эксперты:
Констатируется наличие кворума ЭС в количестве 5 человек.
Также участвовал представительK-Research: Александр Емельянов
ПОВЕСТКА дня:
- Обсуждение рекомендации 3М3А. Контроль и улучшение частоты репортинга респондентов. Результаты теста с изменением порога валидации.
- Обсуждение рекомендации 3М3А. Статус on-Holiday. Результаты дополнительного анализа/ре-процессинга данных на основе августа 2023 г.
- Обсуждение рекомендации 3М3А. Значимое сокращение количества ячеек. Улучшение диапазонов отклонений. RIM взвешивание. Результаты теста по опции 2: Сокращение количества ячеек взвешивания панели Kazakhstan Urban Net за счет объединения регионального распределения Алматы и Казахстан без Алматы.
ПОСТАНОВИЛИ:
1. Обсуждение рекомендации 3М3А. Контроль и улучшение частоты репортинга респондентов. Результаты теста с изменением порога валидации.
Александр Емельянов представил результаты теста по изменению порога валидации по времени ношения устройства. Требование к текущей валидации –использование устройства не менее 4х часов в день. Результаты теста для порогов валидации 3, 2 и 1 час показали что, снижение порогового значения времени ношения устройства повышает частоту непрерывного репортинга и увеличивает среднесуточную выборку, при этом не оказывая значимого влияния на показатели ТТВ.
Согласно мировой практике время валидации не должно быть меньше среднего времени просмотра. В связи с этим предлагается перейти на валидацию по времени ношения 3 часа.
Эксперты пришли к единогласной позиции снизить порог валидации по времени ношения до 3 часов.
2. Обсуждение рекомендации 3М3А. Статус on-Holiday. Результаты дополнительного анализа/ре-процессинга данных на основе августа 2023 г.
Дополнительный анализ данных на основе августа 2023 года показал, что при включеном статусе on-Holiday происходит увеличение среднесуточной выборки, однако рейтинг ТТВ снижается на ~4%.
Эксперты единогласно рекомендуют оставить данную опцию без изменения, т.е. не включать статус on-Holiday.
3.Обсуждение рекомендации 3М3А. Значимое сокращение количества ячеек. Улучшение диапазонов отклонений. RIM взвешивание. Результаты теста по опции 2: Сокращение количества ячеек взвешивания панели KazakhstanUrbanNet за счет объединения регионального распределения Алматы и Казахстан без Алматы.
.
Александр напомнил, что по мнению аудиторов, используемая система взвешивания слишком сложная для текущего размера панели. Размер панели для измеряемой географии соответствует международным требованиям, но количество ячеек взвешивания (86) превышает рекомендуемое в два раза. Необходимо упростить систему взвешивания, снизить весовую нагрузку на респондентов и укрупнить размер ячеек.
Возможны два варианта упрощения (см.протокол ЭС от 5 октября 2023):
Опция 1: Сократить количество контрольных параметров на основе УИ 2023.
Опция 2: Сократить кличество ячеек взвешивания за счет исключения регионального распределения в системе взвешивания для панели KazakhstanUrbanNet (Казахстан 100 000+): сохранить взвешивание по стратам (Алматы, Астана, 200 000+, 100 000-200 000). Остальные параметры взвешивания свернуть до уровня категории, без внутреннего разделения на Алматы или Казахстан без Алматы.
Тест по опции 2 показал, что при техническом сворачивании региональности используемых параметров взвешивания (Алматы и Казахстан без Алматы) количество ячеек взвешивания сокращается вдвое, что положительно сказывается на таких параметрах как:
- Индекс отношения среднесуточного размера выборки к количеству ячеек достигает 44, что близко к рекомендуемому значению 50. При текщих параметрах взвешивания этот индекс равен 23.
- Средний уровень эффективности работы системы взвешивания AvEffectiveSample увеличивается до 82% (рекомендуемое значение >80%). Текущее значение 78%. Смысл данного индекса в том, что чем он ниже, тем больше отклонение весов респондентов от среднего по панели.
- Доля ячеек с эффективность взвешивания внутри ячеек взвешивания (RIMCellsEffectiveSample) более рекомендованных 80% увеличивается до 75%. Текущаядоля ячеек с эффективностью взвешивания более 80% составляет 66%.
- Индекс соответствия идеального сэмпла к среднему фактическому сэмплу. В эталонной ситуации индекс равен 1, в случае реальной работающей панели данный индекс должен быть приближен к значению 1. При предлагаемом способе сокращения количества ячеек взвешивания индекс уменьшился до 1,02 (текущее значение 1,06).
Тест на двух неделях с 16 по 29 октября 2023 показал незначительное снижение рейтинга ТТВ на 0,05 п.п., среднесуточного охвата на 0,2 п.п., среднего времени просмотра на 1 минуту.
При этом стоит отметить, происходит сокращение доверительного интервала расчетных аудиторных показателей StdError, как в абсолютном, так и в % выражении.
Исторически разделение параметров взвешивания панели KazakhstanUrbanNetна Алматы или Казахстан без Алматы возникло из-за необходимости удовлетворить запрос рынка: охват в 000 по панели Алматы + охват в 000 по панели Казахстан без Алматы = охват в 000 по панели KazakhstanUrbanNet (Казахстан 100 000+).
В случае отмены этого разделения сумма охватов в тысячах человек по отдельным панелям будет отличаться от охвата в тысячах по панели Kazakhstan Urban Net. Проведенный тест показал следующие отличия при суммировании охвата в тысячах: рейтинг на 1 тысячу (0,02%), среднесуточный охват на 4 тысячи (0,9%), накопленный охват (за две недели) на 15 тысяч (0,4%). То есть объединение регионального распределения Алматы и Казахстан без Алматы в параметрах взвешивания оказывает минимальное влияние на суммирование статистик в тысячах человек.
По мнению K-Research упрощение системы взвешивания путём технического сворачивания региональности окажет положительное влияние на эффективность работы системы взвешивания, включая повышение стабильности расчётных данных.
На голосование ЭС вынесена следующая формулировка «ЭС рекомендует удовлетворить рекомендацию аудиторов о сокращении количества ячеек взвешивания путём сокращения географии регионов»
Результаты голосования: 4 – «ЗА», 1- «Воздержался»
Таким образом, большинством голосов эксперты рекомендуют уменьшить количество ячеек взвешивания путём сокращения географии регионов.
Заключение ЭС является легитимным при наличии подписей всех членов ЭС.
ПОДПИСИ ЧЛЕНОВ ЭС:
Денис Альховский
Денис Филенков
Вячеслав Федореев
Ольга Круглун
Сабина Сундетова
