Robots.txt — инструмент управления краулингом, а не индексацией. Закрывайте то, что роботу не нужно видеть — и не более.
Что закрывать обязательно
- Административные разделы: /wp-admin/, /admin/, /bitrix/admin/
- Корзина и личный кабинет: /cart/, /account/, /checkout/
- Внутренний поиск: /search?, /?s= — может генерировать бесконечные URL
- Параметры сортировки: ?sort=, ?order=, ?view=
- Множественные фильтры: URL с 2+ GET-параметрами фильтров
- Служебные файлы: /cgi-bin/, /tmp/, *.sql, *.log
Что НЕ закрывать
- CSS и JS: Google нужны для рендеринга страницы. Блокировка CSS/JS = робот видит «голый» HTML
- Изображения: если хотите трафик из Google Images
- Страницы с контентом: даже если они «неважные» — используйте noindex, а не Disallow
Шаблон robots.txt
User-agent: *
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /*?s=
Disallow: /*?sort=
Disallow: /*&
Allow: /wp-admin/admin-ajax.php
Sitemap: https://site.ru/sitemap.xml