Анализ серверных логов - единственный способ увидеть реальное поведение поисковых роботов на вашем сайте. GSC показывает результат, логи - процесс.
Что искать в логах
- Частота краулинга: сколько страниц Googlebot/YandexBot обходит в день. Падение - сигнал проблемы
- Коды ответа: массовые 404, 500, 301-цепочки - тратят краулинговый бюджет
- Какие страницы краулятся: робот ходит по мусорным URL (фильтры, пагинация) вместо важных?
- Время ответа: если TTFB > 500 мс для робота - он уменьшит частоту обхода
- Новые страницы: когда робот впервые обнаружил и посетил новую страницу
Инструменты
Бесплатные:
- Screaming Frog Log Analyser - импортирует логи Apache/Nginx, визуализирует краулинг
- GoAccess - консольный анализатор, работает в реальном времени
- ELK Stack (Elasticsearch + Kibana) - для больших объёмов
Платные:
- JetOctopus - облачный, специализирован на SEO-логах
- Oncrawl - лог-анализ + технический аудит
- Botify - enterprise-решение
Как получить логи
Попросите хостинг или DevOps-отдел предоставить access-логи за последние 30 дней. Формат: Apache Combined Log или Nginx. Фильтруйте по User-Agent: Googlebot, YandexBot.
Вот расширенный вариант с практическими рекомендациями и инструментами:
Для глубокого анализа рекомендую начать с ELK-стека (Elasticsearch + Logstash + Kibana) или Grafana Loki - они позволяют агрегировать логи с нескольких серверов и строить наглядные дашборды. Важно фильтровать данные по user-agent (Googlebot, YandexBot и т.д.), иначе анализ превратится в поиск иголки в стоге сена. Лично я всегда проверяю IP-адреса роботов через whois, чтобы исключить подделки - официальные диапазоны Google и Яндекса публично доступны.
Особое внимание уделяю динамике: сравниваю недельные срезы через diff-анализ в Python Pandas. Если вижу, что робот начал массово игнорировать разделы с JavaScript-рендерингом - это сигнал к проверке отрисовки контента. Для оперативного мониторинга настраиваю алерты в Datadog при резком падении краулинга ключевых URL. Из неочевидных моментов: лог-файлы часто не учитывают AJAX-запросы, что может искажать картину поведения ботов на SPA-сайтах.