Анализ серверных логов — единственный способ увидеть реальное поведение поисковых роботов на вашем сайте. GSC показывает результат, логи — процесс.
Что искать в логах
- Частота краулинга: сколько страниц Googlebot/YandexBot обходит в день. Падение — сигнал проблемы
- Коды ответа: массовые 404, 500, 301-цепочки — тратят краулинговый бюджет
- Какие страницы краулятся: робот ходит по мусорным URL (фильтры, пагинация) вместо важных?
- Время ответа: если TTFB > 500 мс для робота — он уменьшит частоту обхода
- Новые страницы: когда робот впервые обнаружил и посетил новую страницу
Инструменты
Бесплатные:
- Screaming Frog Log Analyser — импортирует логи Apache/Nginx, визуализирует краулинг
- GoAccess — консольный анализатор, работает в реальном времени
- ELK Stack (Elasticsearch + Kibana) — для больших объёмов
Платные:
- JetOctopus — облачный, специализирован на SEO-логах
- Oncrawl — лог-анализ + технический аудит
- Botify — enterprise-решение
Как получить логи
Попросите хостинг или DevOps-отдел предоставить access-логи за последние 30 дней. Формат: Apache Combined Log или Nginx. Фильтруйте по User-Agent: Googlebot, YandexBot.
