Ограничение частоты сканирования бывает нужно, когда Googlebot создаёт чрезмерную нагрузку на сервер. Но делайте это осторожно — меньше краулинга = медленнее индексация.
Когда это нужно
- Сервер не справляется с нагрузкой от Googlebot (5xx ошибки)
- Shared hosting с лимитами на CPU/RAM
- Googlebot краулит мусорные URL (фильтры, параметры) вместо важных
Методы ограничения
1. GSC → Настройки → Скорость сканирования. Можно снизить crawl rate. Но Google сам адаптирует частоту под возможности сервера.
2. Robots.txt: Crawl-delay. Crawl-delay: 10 — пауза 10 секунд между запросами. Google не гарантирует соблюдение, но Яндекс и Bing уважают.
3. HTTP 429 (Too Many Requests). Отдавайте 429 с заголовком Retry-After: 60 при перегрузке. Googlebot поймёт и снизит темп.
4. Robots.txt: закройте мусорные URL. Вместо ограничения скорости — уберите ненужные URL из краулинга. Это правильнее.
Важно
Лучшее решение — не ограничивать робота, а ускорить сервер. Быстрый TTFB = робот обходит больше страниц за тот же период без нагрузки. Инвестиция в производительность > ограничение краулинга.
Как SEO-специалист, рекомендую сначала проверить логи сервера, чтобы убедиться, что нагрузку создаёт именно Googlebot (а не скрейперы или плохие боты). Используйте инструменты вроде Google Search Console (отчёт «Статус сканирования») или сервисы аналитики логов (Screaming Frog Log File Analyzer). Если проблема в параметрах URL, добавьте Disallow для дублей в robots.txt или настройте канонические теги. Для динамического ограничения запросов можно использовать .htaccess (Apache) или rate-limiting в Nginx, но тестируйте изменения на тестовом сервере — агрессивные лимиты могут случайно заблокировать краулер.
Важно: перед снижением crawl rate в GSC попробуйте оптимизировать сервер (кеширование, CDN, устранение «тяжёлых» страниц). Googlebot адаптируется к скорости ответа сервера, поэтому улучшение производительности часто решает проблему лучше, чем ручное ограничение. Для мониторинга после изменений используйте Googlebot Report в GSC и следите за 5xx ошибками в Яндекс.Метрика.