Зачем сводить замер к одному числу
Таблица на 50 строк по четырём движкам - это 200 ячеек, и по ней невозможно ответить на простой вопрос: стало лучше или нет. Нужна одна величина, которая сжимает всю таблицу и меняется вместе с реальным положением дел. Такая величина - доля цитирования: сколько запросов из пула дали упоминание вашего сайта, в процентах.
Считается она просто: число запросов с цитированием делится на размер пула. Двенадцать попаданий из пятидесяти - двадцать четыре процента. Это число можно положить в отчёт, сравнить с прошлым циклом и обсуждать предметно.
Считать долю нужно отдельно по каждому движку и никогда не усреднять их в одну цифру. Нейро, Алиса, ChatGPT и Perplexity устроены по-разному и реагируют на разные вещи: у одного вырастет, у другого просядет, а среднее покажет ноль изменений и скроет обе новости. Общая доля по всем движкам сразу - самая частая ошибка в этом пункте.
Отдельно полезно вести долю по типам запросов из пула. Обычно по информационным цитируют охотнее, чем по коммерческим, и общая цифра это маскирует. Разбивка показывает, где именно вы растёте - и растёте ли там, где это приносит деньги.
Пошаговая инструкция
Расчёт занимает пятнадцать минут после каждого замера при условии, что таблица заполнена аккуратно.
- Шаг 1 - в таблице замера сделайте отдельную вкладку для показателей. Строки - даты замеров, колонки - движки.
- Шаг 2 - посчитайте по каждому движку: число запросов с цитированием, делённое на размер пула. Записывайте и абсолютное число, и процент - процент без абсолютного числа теряет масштаб.
- Шаг 3 - добавьте разбивку по типам запросов: доля отдельно по информационным, по выбору, по коммерческим, по брендовым. Это четыре дополнительные колонки на движок.
- Шаг 4 - посчитайте вторую величину - среднюю позицию среди источников там, где цитирование есть. Она показывает не только факт попадания, но и вес: первым источником в ответе или пятым.
- Шаг 5 - постройте простой график по каждому движку. Точек будет мало, и это нормально: замер делается раз в два месяца, за год набирается шесть точек.
- Шаг 6 - рядом с каждой точкой на графике записывайте, что было сделано в этот период. Без привязки к работам динамика превращается в красивую линию, из которой нельзя сделать вывод.
Одно предостережение: доля цитирования - показатель шумный. На пуле в 50 запросов разница в два-три процента между замерами лежит в пределах случайных колебаний и выводом не является. Разговор о результате начинается с изменения на десять процентов и выше, либо со стабильного движения в одну сторону на трёх замерах подряд.
Типичные ошибки
- Одна общая доля по всем движкам - усреднение скрывает и рост, и падение. Исправление: отдельная колонка на каждый движок, никогда не складывать.
- Только процент, без абсолютного числа - «выросли с 20 до 30 процентов» звучит одинаково на пуле из 10 и из 50 запросов, хотя это совершенно разные новости. Исправление: писать оба числа.
- Празднуют изменение в два процента - шум принимают за результат, а через цикл цифра возвращается назад. Исправление: порог значимости оговорён заранее, малые колебания не комментируются.
- Не пишут, что делали между замерами - есть график, но нет причин. Понять, что сработало, невозможно. Исправление: подпись к каждой точке.
- Считают долю по изменившемуся пулу - добавили запросы, доля упала, повод для паники на пустом месте. Исправление: пул не меняется, новые запросы считаются отдельно.
Что проверить в итоге
- Доля цитирования считается отдельно по каждому движку, без усреднения
- Записаны и абсолютное число попаданий, и процент
- Есть разбивка доли по четырём типам запросов
- Считается средняя позиция среди источников там, где цитирование есть
- Построен график по каждому движку, точки подписаны выполненными работами
- Порог значимости изменения оговорён заранее и зафиксирован в таблице
- Расчёт ведётся по неизменному пулу
