Если вы разворачиваете новый проект на домене, который раньше содержал другой сайт — закрывать от индексации на время разработки нужно, но правильным способом.
Во время разработки
- HTTP Basic Auth: логин/пароль на уровне сервера — Googlebot не пройдёт. Лучший вариант
- Noindex мета-тег: работает, но требует внимания — не забудьте убрать при запуске
- НЕ используйте robots.txt Disallow: это не удалит старые страницы из индекса
При запуске
- Уберите Basic Auth
- Уберите noindex
- Отправьте sitemap в GSC
- Запросите индексирование ключевых страниц
- Если старые URL удалены — настройте 301-редиректы на новые
Особенность старого домена
Домен с историей может иметь остаточный авторитет — используйте это:
- Сохраните URL-структуру, где возможно
- 301-редиректы со старых URL на новые
- Не удаляйте страницы с внешними ссылками — перенаправьте на релевантные новые