Googlebot посещает URL, которых нет на сайте — это нормальное поведение, но при массовых 404 нужно разобраться.
Почему это происходит
- Старые ссылки: внешние сайты ссылаются на удалённые страницы
- Сканирование JavaScript: Googlebot обнаружил URL в JS-коде
- Параметры: робот комбинирует обнаруженные параметры, создавая новые URL
- Hacked content: если сайт был взломан — могли создаться мусорные URL
- Sitemap: старый sitemap содержит удалённые URL
Когда беспокоиться
- Тысячи 404-ошибок в GSC → тратится краулинговый бюджет
- URL имеют паттерн взлома: /casino/, /viagra/, /wp-content/uploads/shell.php
- Новые 404 появляются ежедневно в нарастающем количестве
Как остановить
- Обновите sitemap.xml: удалите несуществующие URL
- 301-редиректы: для URL с внешними ссылками → на релевантную страницу
- 410 Gone: для URL, которые точно не вернутся. Google быстрее прекратит сканировать
- Robots.txt: закройте паттерны мусорных URL:
Disallow: /old-section/ - Попросите вебмастеров обновить ссылки (если это важные доноры)