Зачем находить и обрабатывать битые ссылки
Битая ссылка — это ссылка, которая ведёт на несуществующую страницу. Пользователь кликает и видит ошибку 404. Для SEO это проблема сразу в нескольких плоскостях: робот тратит бюджет сканирования на мёртвые URL, ссылочный вес внешних ссылок теряется в пустоту, пользователи уходят с сайта. Если на сайте десятки или сотни битых ссылок, поисковик может снизить общую оценку качества сайта.
Битые ссылки появляются постоянно: при удалении страниц, изменении URL, переезде на новый домен, обновлении каталога товаров, удалении старых статей. На крупных сайтах, которые развиваются годами, количество 404-ошибок может исчисляться тысячами. Регулярная проверка и устранение — обязательная часть технического обслуживания.
Пошаговая инструкция
Шаг 1. Найдите битые ссылки через Screaming Frog
Screaming Frog SEO Spider — самый надёжный способ обнаружить все 404-ошибки на сайте, потому что он обходит сайт как поисковый робот и проверяет каждую ссылку.
- Запустите Screaming Frog, введите адрес сайта и начните сканирование.
- После завершения перейдите на вкладку «Response Codes».
- В фильтре выберите «Client Error (4xx)». Здесь собраны все URL, которые отдают ошибку 404 (и другие 4xx-коды).
- Для каждого битого URL проверьте столбец «Inlinks» — сколько внутренних ссылок ведёт на эту мёртвую страницу. Нажмите на число, чтобы увидеть конкретные страницы-источники.
- Экспортируйте отчёт: «Reports» → «Client Errors» → «Inlinks». Получите таблицу с битыми URL и страницами, которые на них ссылаются.
Также проверьте внешние ссылки: вкладка «External» → фильтр «Client Error (4xx)». Это ссылки с вашего сайта на другие ресурсы, которые перестали работать. Их тоже нужно обновить или удалить.
Шаг 2. Проверьте ошибки в Яндекс Вебмастере
В Яндекс Вебмастере перейдите в «Индексирование» → «Страницы в поиске» → «Исключённые страницы». Фильтруйте по причине «Ошибка HTTP: 404». Здесь Яндекс показывает URL, которые он пытался просканировать, но получил ошибку 404.
Важный нюанс: в этом отчёте могут быть URL, которые никогда не существовали на сайте — например, URL из спамных ссылок или результат опечаток. Такие URL не требуют исправления, но стоит убедиться, что ваша 404-страница корректно отдаёт код 404 (а не 200), иначе поисковик может проиндексировать пустую страницу.
Шаг 3. Проверьте ошибки в Google Search Console
В Google Search Console перейдите в «Страницы» → фильтр «Не найдено (404)». Google показывает страницы, которые он обнаружил через ссылки (внутренние или внешние), но не смог загрузить.
Обратите особое внимание на URL, которые ранее были проиндексированы, а теперь отдают 404. Это означает, что Google уже показывал эти страницы в поиске, пользователи могли на них заходить, а теперь видят ошибку. Такие случаи — приоритет для исправления.
Шаг 4. Классифицируйте битые URL
Не все 404-ошибки одинаково важны. Разделите найденные URL на категории по приоритету:
Критические (исправить немедленно):
- Страницы, на которые ведут внешние ссылки с других сайтов — вы теряете ссылочный вес.
- Страницы, которые ранее получали органический трафик — пользователи из поиска попадают на 404.
- Страницы, на которые ссылаются много внутренних ссылок — значит, они были важной частью структуры.
Средний приоритет:
- Страницы с небольшим количеством внутренних ссылок.
- Старые статьи или товары, которые были удалены осознанно.
Низкий приоритет:
- URL, которые никогда не существовали (мусорные ссылки, результат сканирования JavaScript).
- URL с опечатками, которые не приносили трафика.
Шаг 5. Выберите способ обработки для каждого URL
Для каждого битого URL доступно несколько вариантов обработки:
Вариант 1: 301-редирект на релевантную страницу. Лучший вариант, если на сайте есть страница с похожим содержанием. Удалили статью «SEO-аудит для интернет-магазина» — перенаправьте на общую статью про SEO-аудит. Удалили товар — на категорию, в которой он был. Редирект сохраняет ссылочный вес и направляет пользователей на полезную страницу.
Вариант 2: восстановление страницы. Если страница была удалена ошибочно или её контент по-прежнему актуален, верните её. Проверьте веб-архив (web.archive.org) — возможно, там сохранилась последняя версия контента.
Вариант 3: оставить 404, но убрать ссылки. Если для битого URL нет релевантной замены и восстанавливать его не нужно, удалите все внутренние ссылки, которые на него ведут. URL останётся 404, но робот не будет натыкаться на него при обходе сайта.
Вариант 4: 410 Gone. Код 410 сообщает роботу, что страница удалена навсегда и возвращать её не планируется. В отличие от 404 («не найдено»), 410 — однозначный сигнал, и поисковик быстрее уберёт URL из индекса. Используйте для страниц, которые точно не будут восстановлены.
Шаг 6. Настройте 301-редиректы
Для массовой настройки редиректов в WordPress удобно использовать плагин Redirection или настроить правила в .htaccess напрямую.
Через .htaccess (Apache):
RewriteEngine On
RewriteRule ^staraya-stranica/$ /novaya-stranica/ [R=301,L]
RewriteRule ^udalenniy-tovar/$ /kategoriya/ [R=301,L]Через Nginx:
location = /staraya-stranica/ {
return 301 /novaya-stranica/;
}При большом количестве редиректов (сотни и тысячи) используйте RewriteMap в Apache или map-директиву в Nginx — они работают эффективнее, чем множество отдельных правил.
Шаг 7. Создайте полезную кастомную 404-страницу
Даже при идеальной работе с редиректами на сайте всегда останутся случаи, когда пользователь попадает на несуществующую страницу: набрал URL с ошибкой, перешёл по устаревшей закладке, нашёл старую ссылку в другом источнике. Кастомная 404-страница смягчает ситуацию.
Что должно быть на хорошей 404-странице:
- Понятное сообщение: «Страница не найдена» — без технического жаргона.
- Поиск по сайту: дайте возможность найти нужную информацию.
- Ссылки на основные разделы: главная, каталог, услуги, контакты.
- Ссылки на популярные страницы: топ-5 самых посещаемых страниц сайта.
- Навигация сайта (меню): стандартные шапка и подвал, чтобы пользователь мог перейти в любой раздел.
В WordPress создайте файл 404.php в папке дочерней темы. Убедитесь, что страница отдаёт HTTP-код 404 (WordPress делает это автоматически через файл 404.php), а не 200 — иначе поисковик проиндексирует её как обычную страницу.
Шаг 8. Удалите битые внутренние ссылки
После настройки редиректов обновите внутренние ссылки на сайте. Даже с 301-редиректом прямая ссылка на актуальный URL лучше, чем ссылка через перенаправление. Пройдите по списку страниц-источников (столбец Inlinks из Screaming Frog) и замените старые URL на новые.
В WordPress для массовой замены URL в контенте используйте плагин Better Search Replace: задайте старый URL, новый URL — плагин найдёт и заменит все вхождения в базе данных. Перед запуском сделайте резервную копию базы.
Типичные ошибки
- Редиректить все 404 на главную страницу. Это не решение проблемы, а маскировка. Поисковики относятся к массовому редиректу на главную как к мягкой 404-ошибке (soft 404) и могут игнорировать такие перенаправления. Редирект должен вести на релевантную страницу.
- Не проверять, что 404-страница реально отдаёт код 404. Некоторые темы WordPress и плагины отображают кастомную страницу ошибки, но с кодом ответа 200. Для поисковика это обычная страница с пустым контентом — и она попадёт в индекс как мусор.
- Исправлять только ошибки из GSC, игнорируя Вебмастер. Данные в GSC и Вебмастере различаются. Проблемы, которые видит Яндекс, могут отсутствовать в Google и наоборот. Проверяйте оба источника.
- Не обновлять внутренние ссылки после настройки редиректов. Редирект — это костыль. Правильная ссылка ведёт на конечный URL напрямую. Чем меньше редиректов обрабатывает робот при сканировании, тем лучше.
- Удалять страницы без настройки редиректа. Каждый раз, когда удаляете страницу с сайта, сразу настройте 301-редирект на ближайшую релевантную страницу. Это должно стать привычкой.
- Не проверять внешние исходящие ссылки. Битые ссылки на другие сайты ухудшают пользовательский опыт. Если ресурс, на который вы ссылались, перестал существовать — удалите ссылку или замените на актуальную.
Что проверить в итоге
- Сканирование Screaming Frog не выявляет внутренних ссылок, ведущих на страницы с кодом 404.
- В Яндекс Вебмастере раздел «Исключённые» → «Ошибка HTTP: 404» не содержит страниц, которые должны быть доступны.
- В Google Search Console отчёт «Страницы» → «Не найдено (404)» обработан: критические URL перенаправлены, остальные — осознанно оставлены.
- Для всех удалённых страниц, имевших внешние ссылки, настроены 301-редиректы на релевантные страницы.
- На сайте создана кастомная 404-страница с навигацией, поиском и ссылками на основные разделы.
- Кастомная 404-страница отдаёт HTTP-код 404, а не 200.
- Внутренние ссылки обновлены: старые URL заменены на актуальные.
- Битые внешние исходящие ссылки обновлены или удалены.
- Настроен регулярный процесс: проверка 404-ошибок не реже одного раза в месяц.
