Пагинация - один из главных пожирателей краулингового бюджета на крупных сайтах. Вот как оптимизировать.
Проблема
Категория с 10 000 товаров и пагинацией по 20 = 500 страниц пагинации. Googlebot обходит каждую, но товары на page/250/ получают минимум внимания.
Решения
1. Увеличьте количество товаров на странице. 50-100 вместо 20 = в 2-5 раз меньше страниц пагинации.
2. «Показать все» (View All). Если товаров < 200 - создайте страницу «Все товары» без пагинации. Google предпочитает её. Но она должна грузиться быстро.
3. Sitemap с URL всех товаров. Даже если робот не дойдёт до page/300/ - он найдёт товары через sitemap.
4. Внутренняя перелинковка. Популярные товары должны быть доступны не только через пагинацию, но и через блоки «Популярное», «Хиты продаж».
Чего НЕ делать
- Noindex на пагинации: товары на этих страницах перестанут индексироваться через внутренние ссылки
- Canonical всех страниц на первую: Google проигнорирует - контент разный
- Robots.txt Disallow: аналогично - товары потеряют путь индексации
Каждая страница пагинации - canonical на себя, индексируется, содержит уникальный title с номером страницы.
Популярные товары должны быть перелинкованы с главной, хитами продаж и другими ключевыми страницами - так робот быстрее их проиндексирует. Используйте инструменты вроде Screaming Frog или Ahrefs, чтобы проверить, какие страницы пагинации попадают в индекс, и исключите маловажные через noindex или параметры в Search Console. Важно: если у вас динамическая пагинация (например, фильтры), добавьте в robots.txt запрет на дублирующие параметры сортировки. Также рекомендую тестировать скорость загрузки «тяжёлых» страниц через WebPageTest - Google может игнорировать View All, если она грузится дольше 3 секунд.
Для интернет-магазинов с тысячами товаров советую комбинировать подходы: например, оставьте пагинацию для пользователей, но для роботов добавьте rel=next/prev в head или JSON-LD-разметку с указанием цепочки страниц. Это поможет поисковикам понять структуру без перебора всех URL. Проверяйте логи сервера на предмет частоты сканирования пагинации - если видите, что бот зацикливается на page/50+, настройте приоритеты в файле hreflang или через внутренние ссылки.