Краулинговый бюджет - это количество страниц, которое поисковый робот готов обойти на вашем сайте за определённый период. Для сайтов до 10 000 страниц это редко бывает проблемой. Для крупных - критично.
На что тратится бюджет
- Фасетная навигация - фильтры генерируют тысячи URL-комбинаций
- Параметры сортировки - ?sort=price, ?order=asc создают дубли
- Внутренний поиск - /search?q=… может генерировать бесконечные страницы
- Пагинация - /page/2/, /page/3/… и так до /page/500/
- Технические дубли - HTTP/HTTPS, www/без www, слэш/без слэша
Как экономить
Robots.txt: закройте параметры сортировки, внутренний поиск, служебные разделы (корзина, личный кабинет).
Noindex + follow: для фасетных страниц, которые не несут SEO-ценности, но содержат полезные ссылки.
Canonical: укажите каноническую версию для каждой страницы с параметрами.
Sitemap.xml: включайте только нужные URL. Робот приоритизирует страницы из карты сайта.
Скорость ответа: чем быстрее сервер отвечает, тем больше страниц робот обойдёт за сессию. TTFB < 200 мс - ориентир.
Проверить расход бюджета можно в Google Search Console → Настройки → Статистика сканирования.
Используйте директиву noindex для страниц, которые не должны индексироваться, но могут быть полезны для пользователей. Например, страницы с фильтрами или сортировкой. Также рекомендую настроить канонические URL, чтобы указать поисковикам главную версию страницы и избежать дублей. Для анализа краулингового бюджета я часто использую инструменты вроде Google Search Console и Screaming Frog. Они помогают выявить проблемные страницы и оптимизировать их. Не забывайте про карту сайта (sitemap) - она упрощает навигацию для роботов и позволяет быстрее индексировать важные страницы.
Если у вас большой сайт, попробуйте сегментировать его на логические разделы и настроить приоритеты краулинга через XML-карту сайта. Это особенно полезно для интернет-магазинов с тысячами товаров. Также я рекомендую минимизировать количество внешних ссылок на страницах, чтобы робот не тратил время на их переход. И, конечно, регулярно мониторьте скорость загрузки сайта - медленные страницы увеличивают время краулинга и снижают эффективность бюджета.