Иногда нужно срочно удалить страницу из поисковой выдачи. Вот четыре способа - от быстрого до основательного.
Способ 1: Инструмент удаления URL (быстрый)
Google: GSC → Удаление URL → Новый запрос. Срабатывает за 1-2 дня. Временная мера на 6 месяцев.
Яндекс: Вебмастер → Инструменты → Удалить URL. Аналогичный механизм.
Способ 2: Мета-тег noindex (надёжный)
<meta name="robots" content="noindex">
Робот посещает страницу, видит noindex, удаляет из индекса. Срок: 1-4 недели. Страница остаётся на сайте, но не показывается в выдаче.
Способ 3: HTTP-заголовок X-Robots-Tag (для не-HTML)
X-Robots-Tag: noindex
Работает для PDF, изображений, любых файлов. Настраивается на уровне сервера.
Способ 4: Удаление + 404/410 (окончательный)
Физически удалите страницу. Сервер отдаёт 404 (Not Found) или 410 (Gone). Google удалит из индекса за 2-8 недель. 410 - быстрее, чем 404.
Чего НЕ делать
- Robots.txt Disallow - НЕ удаляет из индекса. Страница останется в выдаче без сниппета
- Noindex + Disallow одновременно - парадокс: робот не может зайти и прочитать noindex
Для срочных случаев: способ 1 (инструмент удаления) + способ 2 (noindex) - комбинация даёт и скорость, и надёжность.
Важно помнить, что после удаления страницы из индекса её контент может оставаться в кеше поисковиков ещё несколько недель. Если нужно скрыть и кеш - добавьте <meta name="robots" content="noarchive">. Для особо чувствительных случаев (например, утечка персональных данных) рекомендую комбинировать методы: сначала удалите через инструменты вебмастеров, затем закройте страницу паролем или верните 410-й статус.
Проверяйте статус удаления в Google Search Console (раздел «Индекс → Страницы») и Яндекс.Вебмастере («Индексирование → Страницы»). Если страница не исчезает - убедитесь, что robots.txt не блокирует доступ роботам, а настройки хостинга не кэшируют старые версии без noindex. Для динамических страниц иногда требуется принудительная переотправка в индекс через «Проверить URL».