Если вы разворачиваете новый проект на домене, который раньше содержал другой сайт - закрывать от индексации на время разработки нужно, но правильным способом.
Во время разработки
- HTTP Basic Auth: логин/пароль на уровне сервера - Googlebot не пройдёт. Лучший вариант
- Noindex мета-тег: работает, но требует внимания - не забудьте убрать при запуске
- НЕ используйте robots.txt Disallow: это не удалит старые страницы из индекса
При запуске
- Уберите Basic Auth
- Уберите noindex
- Отправьте sitemap в GSC
- Запросите индексирование ключевых страниц
- Если старые URL удалены - настройте 301-редиректы на новые
Особенность старого домена
Домен с историей может иметь остаточный авторитет - используйте это:
- Сохраните URL-структуру, где возможно
- 301-редиректы со старых URL на новые
- Не удаляйте страницы с внешними ссылками - перенаправьте на релевантные новые