Зачем открывать ботов по именам
Общее разрешение в robots.txt не гарантирует, что ваш сайт увидят ChatGPT, Perplexity или Google AI. У каждого из них свой краулер с собственным именем, и запрет по этому имени перекрывает любое общее разрешение. Одна строка, поставленная когда-то «на всякий случай», закрывает канал целиком - и никак себя не проявляет, потому что ошибок в отчётах при этом не возникает.
Ситуация встречается чаще, чем кажется. Запреты попадают в robots.txt тремя путями: их ставит хостинг или плагин безопасности «против нагрузки от ИИ», их добавляет разработчик по совету из статьи о защите контента, или они приезжают вместе с шаблонным robots.txt, скачанным вместе с темой. Владелец сайта об этом обычно не знает.
Разбираться нужно осознанно, а не открывать всё подряд. Боты делятся на два типа, и решение по ним разное. Обучающие краулеры собирают контент для тренировки моделей - здесь у вас есть право выбора, и закрыть их может быть осмысленным решением. Поисковые краулеры обслуживают ответы на живые вопросы пользователей: если закрыт такой, вас не покажут в ответе никогда, и никакой оптимизацией это не лечится.
Важная оговорка про Яндекс: отдельного бота для Нейро и Алисы не существует, они работают через обычный YandexBot. Поэтому этот пункт относится к западным движкам, а на цитируемость в Нейро не влияет.
Пошаговая инструкция
Проверка и правка занимают полчаса. Делается один раз, потом контролируется при каждом изменении сайта.
- Шаг 1 - откройте свой robots.txt в браузере и прочитайте его целиком, а не только первые строки. Запреты по именам ботов часто дописаны в конец файла.
- Шаг 2 - найдите блоки со следующими именами: GPTBot и OAI-SearchBot и ChatGPT-User у OpenAI, PerplexityBot и Perplexity-User, ClaudeBot и anthropic-ai, Google-Extended, Applebot-Extended, CCBot, Bytespider, Amazonbot.
- Шаг 3 - разделите найденное на две группы. Поисковые боты, обслуживающие живые ответы, - OAI-SearchBot, ChatGPT-User, Perplexity-User: их закрывать нельзя, если вы хотите попадать в ответы. Обучающие - GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended: по ним решение принимаете вы.
- Шаг 4 - снимите запреты с поисковых ботов. По обучающим примите осознанное решение и запишите его: закрыли сознательно или открыли. Отдельно учтите, что Google-Extended управляет использованием контента в ответах Gemini и в обзорах от ИИ, но не влияет на обычную индексацию в поиске - закрыв его, вы не потеряете позиции в органике.
- Шаг 5 - проверьте, что доступ не режется выше уровня robots.txt. Ограничения по имени клиента бывают в настройках защиты от ботов, в правилах веб-сервера и в панели хостинга. Файл при этом выглядит корректным, а бот всё равно получает отказ.
- Шаг 6 - убедитесь, что сам robots.txt отдаёт код 200 и корректную кодировку, а в нём указан рабочий адрес карты сайта.
- Шаг 7 - проверьте по журналам веб-сервера, приходят ли эти боты фактически. Отсутствие их в журналах за месяц - сигнал, что доступ где-то перекрыт, даже если robots.txt чистый.
Перепроверять стоит после смены хостинга, установки плагинов безопасности и любых работ с защитой от ботов - именно в эти моменты запреты возвращаются незаметно.
Типичные ошибки
- Читают только начало robots.txt - общее разрешение стоит сверху, запреты по именам дописаны ниже. Вывод «всё открыто» ошибочен. Исправление: читать файл целиком.
- Закрывают всех ИИ-ботов разом - вместе с обучающими перекрывают поисковые и полностью выпадают из ответов. Исправление: разделять два типа и решать по ним отдельно.
- Проверяют только файл - robots.txt чистый, а блокировка стоит в защите от ботов или на уровне сервера. Исправление: сверяться с журналами доступа.
- Считают, что это влияет на Нейро - открывают GPTBot и ждут роста цитирования в Алисе. Связи нет. Исправление: понимать, что пункт работает только на западные движки.
- Не фиксируют решение - через полгода никто не помнит, закрыт обучающий бот сознательно или случайно. Исправление: короткий комментарий прямо в robots.txt рядом со строкой.
Что проверить в итоге
- robots.txt прочитан целиком, все блоки по именам ботов найдены
- Поисковые боты, обслуживающие живые ответы, не закрыты
- По обучающим ботам решение принято осознанно и записано
- Проверено отсутствие блокировок на уровне сервера, хостинга и защиты от ботов
- robots.txt отдаёт 200, кодировка корректна, адрес карты сайта рабочий
- По журналам сервера подтверждено, что боты реально приходят
- Назначена перепроверка после смены хостинга или установки плагинов безопасности
