Любой эксперт по SEO скажет вам, что индексация ваших страниц Google имеет решающее значение. Но это утверждение несколько упрощено. Что вам действительно нужно знать, так это то, что существует множество причин, по которым страницы не индексируются, и это не является автоматически причиной для беспокойства.
Хотя такие вещи, как плохое качество контента, дублированный контент и заблокированные страницы из-за технических проблем, потребуют немедленного внимания, также может случиться так, что страница была заблокирована от индексации по уважительной причине, и вам вообще ничего не нужно делать.
Первым шагом к пониманию того, почему ваша страница не индексируется, является изучение отчета Google Search Console. Предупреждения в консоли поиска могут помочь вам понять, почему определенные страницы не отображаются в результатах поиска, и какие шаги следует предпринять, чтобы решить эту проблему.
Итак, давайте углубимся в то, почему страницы не индексируются и что означают общие предупреждения поисковой консоли. Затем мы рассмотрим шаги, которые вам необходимо предпринять, чтобы убедиться, что ваши страницы проиндексированы должным образом, и какие предупреждения могут вообще не требовать каких-либо действий.
Как поисковые системы индексируют веб-страницы
Начнем с краткого обзора основ. Прежде чем Google сможет проиндексировать ваши страницы, он использует автоматизированное программное обеспечение, широко известное как Googlebot, для сканирования ваших веб-страниц и сбора информации о них.
Сканер читает содержимое страницы и переходит по любым найденным ссылкам. Процесс повторяется для каждой ссылки, по которой она следует, а также для любой страницы, отправленной для индексации, что позволяет Google создать индекс веб-страниц в Интернете.
При принятии решения о том, как индексировать страницу, алгоритмы Google анализируют релевантность и качество каждой страницы, принимая во внимание такие факторы, как качество контента, популярность страницы, разметка схемы и ценность любых внутренних, исходящих или входящих ссылок.
Когда пользователь выполняет поиск, алгоритм Google использует этот индекс для возврата результатов в зависимости от того, насколько страница соответствует поисковому запросу пользователя. Страницы, которые считаются наиболее релевантными, перечислены первыми в поисковой выдаче, за ними следуют менее релевантные страницы в порядке убывания.
Почему некоторые страницы не должны быть проиндексированы
Столкнувшись с длинным списком предупреждений в поисковой консоли, легко запутаться. Но важно помнить, что некоторые страницы не должны быть проиндексированы, и наличие некоторых из этих предупреждений может быть нормальным.
Например, дубликаты или альтернативные страницы не должны индексироваться. Непроиндексированная страница, помеченная как дубликат, вероятно, означает, что Google нашел и проиндексировал правильную каноническую страницу и добавил ее в индекс.
Если вас это беспокоит, вы можете использовать инструмент проверки URL, чтобы убедиться, что был проиндексирован правильный канонический URL . Если все выглядит хорошо, эти предупреждения могут появиться, и никаких действий не требуется.
Другой пример: страница требует входа в систему, потому что она не предназначена для публичного просмотра, например, корзина покупок или страницы учетной записи, которые содержат конфиденциальную информацию. В некоторых случаях страница была намеренно заблокирована от индексации с помощью тега «noindex» по определенной причине, например, для максимизации краулингового бюджета на очень больших веб-сайтах.
Если страница была заблокирована от индексации по уважительной причине, это нормально, что предупреждение остается в отчете об индексировании, и никаких дальнейших действий не требуется.
Закажите бесплатную консультацию!
SEO-консультация/аудит от Александра Тригуб: все, что НУЖНО и ВАЖНО!
Распространенные причины проблем с индексацией
Некоторыми из наиболее распространенных причин проблем с индексацией являются дублирование контента без надлежащего канонического тега, заблокированный доступ к странице, неправильный файл robots.txt, плохо реализованные перенаправления и проблемы с рендерингом, связанные с Javascript.
В некоторых случаях Google просто не знает, что страница существует. Это может быть связано с тем, что она новая, не была добавлена в карту сайта или роботу Googlebot просто не удалось найти ссылку на страницу. Имейте в виду, что сканирование новых страниц может занять несколько недель, даже если вы отправляете запрос на сканирование.
Google также может не индексировать плохо оптимизированный контент или некачественный контент, который не содержит достаточно полезной информации. Обеспечение того, чтобы ваши страницы полностью освещали тему, были должным образом оптимизированы, правильно загружались и были доступны, является ключом к предотвращению проблем с индексацией.
Мы рассмотрим все это более подробно ниже, но сначала давайте углубимся в основы того, как перемещаться по панели инструментов Search Console и разбираться в отчете об индексировании.
Навигация по панели инструментов Google Search Console
Поначалу ваша панель инструментов Google Search Console может показаться немного перегруженной, поэтому вот краткое описание того, что означают различные разделы и как их использовать.
Обзорный отчет
Обзор дает общее представление о производительности вашего веб-сайта. Здесь вы найдете данные об общем количестве кликов, показов, рейтинге кликов и средней позиции. Используйте этот отчет, если хотите понять, как часто ваш сайт появляется в результатах поиска, какие страницы получают больше всего трафика и какие запросы приносят больше всего кликов.
Отчет о запросах
В этом отчете показаны точные запросы, которые пользователи используют для поиска вашего веб-сайта, и место вашего сайта в рейтинге по каждому запросу. Он расскажет вам, какие запросы приносят больше всего показов и кликов, а какие запросы имеют самый высокий рейтинг кликов. Вы можете использовать этот отчет, чтобы определить, на какие ключевые слова следует ориентироваться в своих усилиях по SEO.
Отчет о страницах
В этом отчете содержится подробная информация об отдельных веб-страницах и их эффективности с точки зрения количества кликов, показов и рейтинга кликов, а также ранжирования по ключевым словам и запросам. Используйте этот отчет, чтобы определить, какие страницы работают хорошо и на чем сосредоточить усилия по оптимизации.
Отчет о ссылках
Отчет о ссылках показывает, сколько внешних и внутренних ссылок ведут на различные страницы вашего сайта и откуда они приходят. Используйте его, чтобы помочь вам найти неработающие ссылки, которые могут нанести ущерб SEO и хорошему пользовательскому опыту.
Понимание отчета об индексации страниц в Google Search Console
Использование отчета об индексации страниц — это самый быстрый способ получить представление о том, какие страницы на вашем веб-сайте были и не были проиндексированы Google. Чтобы найти его, найдите раскрывающееся меню «Индексирование» на боковой панели и нажмите на вкладку «Страницы».
После открытия вы увидите сводную страницу верхнего уровня, которая включает график и текущее количество, указывающее, сколько страниц было и не было проиндексировано.
То, что вам нужно, — это постепенное увеличение количества проиндексированных страниц в зависимости от того, как часто вы публикуете новый контент. Резкие падения или всплески могут указывать на проблему, требующую дальнейшего изучения.
В конце концов, вы будете надеяться, что каноническая версия каждой важной группы страниц вашего сайта будет проиндексирована. Страницы, отправленные на индексацию, будут иметь один из следующих статусов:
- Сканирование. Статус сканирования означает, что робот Googlebot сканирует страницу, чтобы собрать информацию и определить, достойна ли страница быть проиндексирована.
- Индексирование. Статус индексирования говорит о том, что страница была проанализирована роботом Googlebot и сохранена на серверах индексирования. Это указывает на то, что страница имеет право на ранжирование в поисковой выдаче, но не обязательно означает, что страница в настоящее время находится в рейтинге.
- Обслуживание. Статус обслуживания указывает на то, что страница проиндексирована и отображается в результатах поиска Google.
Обратите внимание, что в отчете о покрытии индекса есть четыре вкладки: «Ошибки», «Действительно с предупреждениями», «Действительно» и «Исключено». Поскольку наша цель — найти и устранить ошибки индексации, мы сосредоточимся на вкладке «Ошибка».
Выделите вкладку «Ошибка» и прокрутите вниз до раздела «Подробности». Вы увидите, что ошибки были сгруппированы в следующие подробные представления:
- Таблица «Почему страницы не индексируются». В этой таблице показаны различные коды состояния, объясняющие, почему URL-адреса не были проиндексированы. Нажмите на каждую строку, чтобы открыть подробное представление URL-адресов, затронутых этой проблемой, а также историю этой проблемы на вашем сайте.
- Таблица улучшения качества страницы: в этой таблице показаны страницы, которые были проиндексированы, но Google рекомендует внести некоторые изменения, которые улучшат способность поисковой системы понимать контент.
- Просмотр данных об проиндексированных страницах. Щелкните эту ссылку, чтобы просмотреть список проиндексированных страниц, а также исторические данные о том, сколько страниц вашего сайта было проиндексировано с течением времени.
Мы сосредоточимся на таблице «Почему страницы не индексируются» в целях выявления и исправления ошибок индексации Search Console.
Использование инструмента проверки URL для выявления ошибок индексации
Вы можете использовать Инструмент проверки URL, чтобы лучше понять, как Google видит определенные страницы на вашем веб-сайте. Используйте его в любое время, когда вам нужна подробная информация о текущем статусе индексации конкретной страницы и любых ошибках, препятствующих индексации страницы.
Вот как использовать инструмент проверки URL шаг за шагом:
- Найдите и выберите инструмент проверки URL в главном заголовке GSC.
- Введите URL-адрес веб-страницы, которую вы хотите проверить, и нажмите Enter.
- Инструмент сообщит вам, была ли страница проиндексирована, находится ли она в состоянии ожидания или она не проиндексирована.
- Если страница не проиндексирована, вам будет сообщено, почему. Используйте приведенный ниже список, чтобы определить, что означают распространенные ошибки индексации поиска и какие действия предпринять дальше.
Распространенные ошибки Search Console + как их исправить
Теперь давайте углубимся в то, что означают распространенные ошибки консоли поиска, как их исправить и какие предупреждения могут вообще не требовать никаких действий.
Ошибка сервера (5xx)
Это предупреждение означает, что робот Googlebot обнаружил ошибку сервера при попытке просканировать вашу страницу для индексации. Если вы можете загрузить страницу в своем браузере сейчас, есть большая вероятность, что проблема с сервером разрешилась сама собой. Если нет, обратитесь к своему разработчику или хостинг-провайдеру, чтобы определить, какие дальнейшие действия необходимы.
Ошибка перенаправления
Это предупреждение означает, что робот Googlebot обнаружил ошибку перенаправления при попытке просканировать и проиндексировать вашу страницу. Эта ошибка возникает, когда цепочка перенаправления слишком длинная, перенаправление зацикливается на ту же страницу, URL-адрес перенаправления в конечном итоге превысил максимальную длину или в цепочке перенаправления был неверный или пустой URL-адрес.
Чтобы решить эту проблему, вы должны исследовать перенаправление, чтобы определить и исправить ошибку. Старайтесь избегать цепочек перенаправлений с несколькими шагами и убедитесь, что все страницы, ведущие к конечному пункту назначения, загружаются правильно.
URL-адрес с пометкой «noindex»
Этот URL-адрес отмечен тегом «noindex», что означает, что Google не будет включать эту страницу в результаты поиска. Если вас это беспокоит, спросите себя, хотите ли вы, чтобы посетители находили эту страницу через поиск. Если нет, никаких дальнейших действий не требуется.
В отправленном URL есть проблема со сканированием
Это предупреждение означает, что страница была отправлена для индексирования, но робот Googlebot столкнулся с проблемой сканирования при попытке сканирования страницы. Используйте Инструмент проверки URL, чтобы выяснить, в чем именно заключается проблема.
Много раз Google не мог загрузить страницу из-за проблем с определенными элементами страницы, такими как JavaScript, CSS или определенные изображения. Попробуйте посетить страницу, чтобы проверить, нормально ли она сейчас загружается. Если это так, повторно отправьте страницу на индексацию. В противном случае вам необходимо устранить проблему перед повторной отправкой.
Просканировано – в настоящее время не проиндексировано
Страница была просканирована и не проиндексирована, но конкретная причина не была указана. Вам следует подумать о добавлении полезного контента и улучшении оптимизации, чтобы увеличить шансы на индексацию при следующем сканировании страницы. Нет необходимости повторно отправлять запрос на сканирование.
Заблокировано инструментом удаления страниц
Эта страница была заблокирована для индексации кем-то из вашей команды с помощью инструмента для удаления страниц. Вы должны убедиться, что страница была заблокирована намеренно. Обратите внимание, что запросы на удаление остаются в силе только в течение 90 дней. После этого страница, скорее всего, будет повторно проиндексирована, если вы не установите правильный тег «noindex», не перенаправите или не удалите страницу.
Обнаружена
Страница обнаружена, но не проиндексирована. Обычно это означает, что Google намеревался просканировать страницу, но перепланировал сканирование по неустановленной причине. Позднее он повторно попытается просканировать страницу.
Если вы часто замечаете эту ошибку и у вас большой веб-сайт (более 10 000 страниц), это может означать, что сервер был перегружен, когда Google пытался просканировать страницу. Поговорите со своим хостинг-провайдером, чтобы узнать, так ли это, и какие шаги следует предпринять.
Это также может означать, что ваш сайт превысил краулинговый бюджет . Это может произойти, если ваша CMS автоматически генерирует контент или у вас слишком много пользовательского контента или отфильтрованных страниц категорий продуктов. Рассмотрите возможность удаления повторяющегося контента или блокировки ненужных страниц от индексации.
Заблокировано файлом robots.txt
Страница заблокирована для сканирования файлом robots.txt вашего сайта. Google по-прежнему может проиндексировать страницу, если сможет найти информацию о ней, не загружая ее. Вы должны убедиться, что страница намеренно заблокирована от индексации, и реализовать правильную директиву «noindex», чтобы гарантировать, что страница не будет индексироваться в будущем.
Заблокирован из-за несанкционированного запроса (401)
Это распространенная проблема, когда страница требует авторизации, например, пароль для доступа. Вы должны убедиться, что требования авторизации были реализованы правильно и никаких дальнейших действий не требуется.
Также стоит отметить, что эта ошибка может возникать, когда разработчик ссылается на страницы на тестовом сайте, пока сайт находится в стадии разработки, но забывает обновить ссылки после запуска сайта. Чтобы решить эту проблему, вам нужно обновить ссылки.
Заблокирован из-за запрета доступа (403)
Эта ошибка аналогична ошибке 401. Страница не будет проиндексирована, поскольку робот Googlebot не может предоставить надлежащие учетные данные. Если вы хотите, чтобы эта страница была проиндексирована, вам необходимо разрешить доступ для не вошедших в систему пользователей или явным образом разрешить роботу Googlebot загружать страницу без аутентификации.
Аномалия сканирования
Существует неустановленная аномалия, которая препятствует сканированию и индексированию страницы. Одной из наиболее распространенных причин является то, что страница больше не существует или страница перенаправляется на страницу, которая возвращает ошибку 404. Убедитесь, что во всех цепочках переадресации, ведущих с этой страницы, есть только один шаг, и что страница, на которую вы направляетесь, загружается правильно.
Альтернативная страница с правильным каноническим тегом
Это указывает на то, что страница содержит дублированный контент и в настоящее время указывает на правильную каноническую страницу . Здесь ничего не поделаешь, если только вы не хотите искать способ объединить обе страницы в один URL .
Вариант страницы с тегом canonical
Это предупреждение указывает на наличие дубликатов страниц, но ни одна из них не отмечена как каноническая. Google выбрал другую страницу и проиндексировал ее как каноническую. Если вы считаете, что Google пометил неправильный URL-адрес, вам следует выбрать и пометить правильную каноническую страницу соответствующим каноническим тегом.
Дубликат не HTML-страницы
Google обнаружил на вашем веб-сайте PDF-файл или другой не-HTML-ресурс , который является копией другой страницы, помеченной как каноническая. Эти страницы не должны быть проиндексированы, поэтому здесь не требуется никаких дополнительных действий.
Дубликат, Google выбрал не канонический, а пользовательский
URL-адрес этой страницы помечен как канонический, но Google считает, что для этого набора страниц лучше использовать другую страницу. Это может произойти, когда вы указываете одну версию страницы как каноническую, но затем перенаправляете на другую версию. Вам следует проверить свой канонический тег для этого набора страниц и убедиться, что он указан правильный.
Страница не найдена (404)
Google обнаружил URL-адрес без какого-либо запроса на сканирование, но страница больше не существует, а перенаправление не реализовано. Если возможно, вы должны реализовать редирект 301 на соответствующую страницу. Если подходящей страницы не существует, вы можете оставить 404 как есть, но лучше по возможности избегать ошибок 404.
Страница с переадресацией
Эта страница не была проиндексирована, потому что она была перенаправлена. Если страница была перенаправлена преднамеренно, никаких дополнительных действий не требуется.
В очереди на сканирование
Эта страница добавлена в очередь сканирования. Вам нужно будет зайти позже, чтобы узнать об обновлениях.
Отправленный URL удален
Это указывает на URL-адрес, который был отправлен для индексации, но был удален из индекса без указанной причины. Вам следует подумать о добавлении свежего информационного контента и улучшении оптимизации, чтобы повысить шансы на повторную индексацию или реализовать перенаправление 301 на соответствующую страницу.
Как сообщить Google, что вы исправили проблему индексации
Вот как сообщить Google, что вы устранили проблему и страница готова к повторному сканированию для индексации:
- Откройте отчет об индексации страниц и щелкните URL-адрес, который вы готовы отправить повторно.
- Просмотрите список сведений о странице, чтобы убедиться, что вы устранили все перечисленные проблемы. Когда вы будете удовлетворены, нажмите «Подтвердить исправление».
- Google отправит вам электронное письмо, чтобы указать, что процесс проверки начался. Этот процесс может занять несколько недель. Как только Google решит проблемы, есть большая вероятность, что ваша страница наконец будет проиндексирована и начнет ранжироваться в поисковой выдаче по релевантным поисковым запросам.
Заключение
Когда Google не индексирует страницы, это может показаться разочаровывающей и загадочной проблемой. К счастью, устранение распространенных предупреждений поисковой консоли на самом деле довольно простой процесс. Есть также несколько вполне логичных причин, по которым некоторые страницы вообще не должны индексироваться.
Понимание того, что означают распространенные предупреждения консоли поиска и как их решать, является важным первым шагом в решении проблем с индексацией вашей страницы. Нетрудно убедиться, что нужные страницы проиндексированы и что вы получите желаемые результаты, имея лишь небольшие базовые знания.
