Краулинговый бюджет — это количество страниц, которое поисковый робот готов обойти на вашем сайте за определённый период. Для сайтов до 10 000 страниц это редко бывает проблемой. Для крупных — критично.
На что тратится бюджет
- Фасетная навигация — фильтры генерируют тысячи URL-комбинаций
- Параметры сортировки — ?sort=price, ?order=asc создают дубли
- Внутренний поиск — /search?q=… может генерировать бесконечные страницы
- Пагинация — /page/2/, /page/3/… и так до /page/500/
- Технические дубли — HTTP/HTTPS, www/без www, слэш/без слэша
Как экономить
Robots.txt: закройте параметры сортировки, внутренний поиск, служебные разделы (корзина, личный кабинет).
Noindex + follow: для фасетных страниц, которые не несут SEO-ценности, но содержат полезные ссылки.
Canonical: укажите каноническую версию для каждой страницы с параметрами.
Sitemap.xml: включайте только нужные URL. Робот приоритизирует страницы из карты сайта.
Скорость ответа: чем быстрее сервер отвечает, тем больше страниц робот обойдёт за сессию. TTFB < 200 мс — ориентир.
Проверить расход бюджета можно в Google Search Console → Настройки → Статистика сканирования.
