Почему западные движки считаются отдельно
Нейро и Алиса опираются на поисковый индекс Яндекса и на сигналы, специфичные для Рунета: качество сайта по оценке самой системы, карточку организации, отзывы на картах. ChatGPT и Perplexity устроены иначе - у них другие источники, другой отбор и другая чувствительность к внешним упоминаниям. Один и тот же сайт может уверенно цитироваться в одном движке и отсутствовать в другом, и это нормальная картина, а не ошибка замера.
Отсюда практический вывод: складывать их в один усреднённый показатель нельзя. Среднее по четырём движкам скрывает и рост, и падение - вы видите ровную линию там, где на самом деле произошли два разнонаправленных события. Раздельный учёт стоит тех же усилий, а данных даёт вчетверо больше.
Вторая причина считать раздельно - разные рычаги. Если проседает Нейро, работать нужно с сигналами Яндекса. Если проседают западные движки при живом Нейро, причина чаще в другом: закрытые боты, контент, недоступный без скриптов, отсутствие внешних упоминаний. Общий показатель не подскажет, куда идти, а раздельный подскажет сразу.
Наконец, вопрос приоритета. Для бизнеса, работающего на российского клиента, Нейро и Алиса важнее - там аудитория. Западные движки имеют смысл, если ваши клиенты ими пользуются: часть аудитории в некоторых нишах действительно спрашивает ChatGPT. Решать это нужно осознанно, а не «мерить всё подряд, потому что можно».
Пошаговая инструкция
Замер по западным движкам встраивается в общий цикл и делается тем же пулом, в тот же день.
- Шаг 1 - решите, нужны ли вам эти движки, и запишите решение с обоснованием. Если клиенты ими не пользуются, честнее не мерить, чем мерить формально.
- Шаг 2 - используйте тот же пул запросов, что и для Нейро. Разные пулы для разных движков лишают возможности сравнивать между собой.
- Шаг 3 - учтите разницу в поведении. Perplexity показывает список источников почти всегда, ChatGPT ссылается на источники не в каждом ответе. Отсутствие ссылок в ответе - это не то же самое, что отсутствие вашего сайта среди источников, и фиксировать это надо отдельной пометкой.
- Шаг 4 - прогоняйте в чистом профиле, без истории общения. Эти движки учитывают предыдущие сообщения в диалоге, и второй запрос подряд даёт уже смещённый ответ. Каждый запрос - новый диалог.
- Шаг 5 - ведите по каждому движку свою колонку в таблице и свою долю цитирования. Никаких усреднённых значений между движками.
- Шаг 6 - при разборе результатов сравнивайте движки между собой. Расхождение - это диагноз: сильный Нейро при слабых западных обычно означает проблемы с доступом ботов или отрисовкой контента.
- Шаг 7 - в отчёте показывайте движки по отдельности и объясняйте разницу. Это выглядит убедительнее одной цифры и защищает от вопроса, почему в одном месте видно, а в другом нет.
Полезная деталь: западные движки заметно чувствительнее к внешним упоминаниям на площадках, которые они считают авторитетными. Если по ним стабильно пусто при живом Нейро, смотреть надо не на сайт, а на присутствие бренда за его пределами.
Типичные ошибки
- Усредняют показатели по всем движкам - разнонаправленные изменения гасят друг друга, картина теряется. Исправление: раздельные доли, никакого среднего.
- Разные пулы для разных движков - сравнение между движками становится невозможным. Исправление: один пул на всех.
- Прогон в одном диалоге подряд - каждый следующий ответ учитывает предыдущие сообщения и смещается. Исправление: новый диалог на каждый запрос.
- Считают отсутствие ссылок за отсутствие цитирования - ChatGPT не всегда показывает источники, и строка ошибочно уходит в минус. Исправление: отдельная пометка для ответов без источников.
- Мерят движки, которыми клиенты не пользуются - время тратится, решения на этих данных не принимаются. Исправление: осознанный выбор состава движков с записанным обоснованием.
- Ждут одинаковой картины - расхождение между Нейро и западными считают ошибкой замера. Это диагноз, а не ошибка. Исправление: использовать расхождение как подсказку, куда смотреть.
Что проверить в итоге
- Решение о составе движков принято осознанно и обосновано записью
- Используется тот же пул запросов, что и для Нейро
- Каждый запрос задаётся в новом диалоге, без истории
- Ответы без показанных источников помечаются отдельно
- По каждому движку ведётся своя колонка и своя доля цитирования
- Усреднённого показателя между движками нет ни в таблице, ни в отчёте
- Расхождения между движками разобраны как диагноз
- В отчёте движки показаны по отдельности с объяснением разницы
