Robots.txt и sitemap для мультиязычного сайта на подпапках

Правильная настройка robots.txt и sitemap для мультиязычного сайта на подпапках - обязательное условие корректной индексации.

Robots.txt

Один файл для всего домена (robots.txt всегда в корне):

User-agent: *
Disallow: /wp-admin/
Disallow: /*?sort=
Disallow: /*?utm_

Sitemap: https://site.com/sitemap_index.xml

Не нужно отдельных robots.txt для /en/ и /ru/ - один файл управляет всем доменом.

Sitemap

Вариант 1: Один sitemap с hreflang (рекомендуемый).

<url>
  <loc>https://site.com/ru/page/</loc>
  <xhtml:link rel="alternate" hreflang="ru" href="https://site.com/ru/page/"/>
  <xhtml:link rel="alternate" hreflang="en" href="https://site.com/en/page/"/>
  <xhtml:link rel="alternate" hreflang="x-default" href="https://site.com/en/page/"/>
</url>

Вариант 2: Отдельные sitemaps для каждого языка.

• sitemap-ru.xml - только URL из /ru/
• sitemap-en.xml - только URL из /en/
• sitemap_index.xml - индексный файл, ссылающийся на оба

Проверка

GSC → Sitemaps → отправьте и проверьте статус. International Targeting → ошибки hreflang.