Тестовый домен (dev.site.ru, staging.site.com) с копией сайта в индексе Google — серьёзная проблема: дублированный контент и утечка ссылочного веса.
Срочные действия
1. Закройте доступ. На тестовом домене:
- HTTP Basic Auth (логин/пароль на уровне сервера) — Googlebot не пройдёт
- Или
robots.txt:Disallow: /(быстрая мера, но не удалит из индекса) - Или
<meta name="robots" content="noindex">на всех страницах
2. Удалите из индекса Google.
- Подтвердите тестовый домен в GSC
- GSC → Удаление URL → запросите удаление всего домена
- Это временная мера на 6 месяцев, но работает быстро
3. На основном сайте.
- Убедитесь, что canonical указывает на основной домен
- В sitemap.xml — только URL основного домена
Профилактика
- Тестовый сайт всегда за Basic Auth
- Robots.txt на тестовом домене:
Disallow: / - Noindex мета-тег на staging/dev по умолчанию
- Добавьте в CI/CD проверку: если окружение != production → добавить noindex
После выполнения срочных действий рекомендую проверить, как Google обрабатывает тестовый домен. Используйте инструмент «Проверка URL» в Google Search Console, чтобы убедиться, что страницы больше не индексируются. Если вы использовали robots.txt, помните, что это не удаляет страницы из индекса, а только блокирует доступ к ним. Для полного удаления обязательно добавьте тег noindex и отправьте запрос через GSC. Также советую настроить редирект с тестового домена на основной, если это возможно, чтобы избежать потери трафика и передать ссылочный вес. В будущем всегда используйте закрытые среды для разработки и тестирования, например, локальные серверы или защищённые поддомены с паролем.
Для автоматизации мониторинга индексации тестовых доменов можно использовать инструменты вроде Screaming Frog или Ahrefs. Они помогут выявить страницы, которые всё ещё находятся в индексе, и оперативно на них отреагировать. Также рекомендую настроить регулярные проверки через GSC, чтобы избежать повторного попадания тестового домена в индекс. Если у вас большая команда разработчиков, обязательно внедрите чек-лист перед запуском любых изменений, чтобы исключить случайную индексацию тестовых версий.