Ограничение частоты сканирования бывает нужно, когда Googlebot создаёт чрезмерную нагрузку на сервер. Но делайте это осторожно — меньше краулинга = медленнее индексация.
Когда это нужно
- Сервер не справляется с нагрузкой от Googlebot (5xx ошибки)
- Shared hosting с лимитами на CPU/RAM
- Googlebot краулит мусорные URL (фильтры, параметры) вместо важных
Методы ограничения
1. GSC → Настройки → Скорость сканирования. Можно снизить crawl rate. Но Google сам адаптирует частоту под возможности сервера.
2. Robots.txt: Crawl-delay. Crawl-delay: 10 — пауза 10 секунд между запросами. Google не гарантирует соблюдение, но Яндекс и Bing уважают.
3. HTTP 429 (Too Many Requests). Отдавайте 429 с заголовком Retry-After: 60 при перегрузке. Googlebot поймёт и снизит темп.
4. Robots.txt: закройте мусорные URL. Вместо ограничения скорости — уберите ненужные URL из краулинга. Это правильнее.
Важно
Лучшее решение — не ограничивать робота, а ускорить сервер. Быстрый TTFB = робот обходит больше страниц за тот же период без нагрузки. Инвестиция в производительность > ограничение краулинга.
