Google добавил проверку на наличие файла llms.txt в инструмент Lighthouse. Это новый сигнал для разработчиков, хотя сам Google утверждает, что этот файл пока не влияет на видимость сайтов в ИИ-поиске.
Что такое llms.txt и зачем он нужен
Файл llms.txt — это аналог robots.txt для больших языковых моделей (LLM) и генеративного ИИ. Он позволяет владельцам сайтов контролировать, какие страницы или части контента могут быть использованы для обучения или обработки запросов ИИ-сервисами, такими как Google Search Generative Experience (SGE), Copilot или ChatGPT. По сути, это инструкция для ИИ-краулеров: что можно брать для обучения, а что нет.
Google официально заявляет, что наличие или отсутствие llms.txt на данный момент никак не влияет на ранжирование сайта в основной выдаче, включая результаты Search Generative Experience. Однако, интеграция этой проверки в Lighthouse — инструмент для оценки качества веб-страниц — говорит о том, что в будущем его роль может измениться. Lighthouse проверяет файл llms.txt, и если он отсутствует, выдает предупреждение.
Почему Google заговорил о llms.txt
Интерес к llms.txt возник на фоне активного развития генеративного ИИ и участившихся дискуссий о правах на контент. Владельцы сайтов хотят иметь возможность защитить свою интеллектуальную собственность от использования ИИ без разрешения. С помощью этого файла можно запретить парсинг контента для обучения ИИ, но разрешить его использование для генерации ответов в ИИ-поисковиках.
Сейчас Google предлагает две основные директивы: Google-Extended в файле robots.txt и мета-тег . LLMS.txt добавляет ещё один уровень контроля, позволяя более точно управлять доступом ИИ к контенту.
Что значит проверка llms.txt в Lighthouse
Lighthouse — это инструмент для разработчиков, который помогает улучшить качество веб-страниц. Он анализирует производительность, доступность, SEO и другие метрики. Теперь в отчётах Lighthouse может появиться предупреждение о статусе llms.txt. Это не означает, что отсутствие файла прямо сейчас негативно повлияет на видимость в поиске или показатели качества сайта.
Скорее, это сигнал от Google: «Обратите внимание, такая возможность скоро будет важна». Проверка в Lighthouse — часто предвестник будущих изменений в алгоритмах или рекомендациях для вебмастеров. Google иногда внедряет предупреждения заранее, чтобы дать время сайтам подготовиться.
Обязательно ли создавать llms.txt для сайта?
На данный момент нет. Google утверждает, что отсутствие llms.txt не влияет на видимость в ИИ-поиске. Однако, проверка в Lighthouse может намекать на будущую значимость этого файла.
Как llms.txt отличается от robots.txt?
Robots.txt управляет доступом поисковых роботов к сайту для индексации. Llms.txt предназначен специально для больших языковых моделей и генеративного ИИ, позволяя контролировать использование контента для обучения или генерации ответов.
Комментарий эксперта
Я смотрю на эту новость двояко. С одной стороны, я согласен с Google — прямо сейчас отсутствие llms.txt не критично для SEO. Он не влияет на ранжирование и не скажется на трафике. С другой стороны, интеграция такой проверки в Lighthouse — это не просто так. Это явный звоночек о том, что в ближайшие год-два файл станет важным.
Я уже вижу, как клиенты задают вопросы, например, в e-commerce на 300 000 товаров, о том, не будет ли их уникальный продающий контент «съеден» ИИ-ботами. Сейчас я не рекомендую бросаться и срочно создавать этот файл. Но я настоятельно советую маркетологам и владельцам контентных проектов, особенно в YMYL-нишах, ознакомиться с принципами работы llms.txt. Я бы запланировал включение llms.txt в аудит где-то через 6-9 месяцев. А пока стоит сосредоточиться на качестве контента и E-E-A-T, что действительно влияет на результаты.
Для небольших сайтов или локального бизнеса, где контент не является основной конкурентной фишкой, можно эту новость пока отложить. Для крупных порталов, медиа и образовательных ресурсов, у которых контент — это ядро бизнеса, стоит держать руку на пульсе. Конкретно: проверьте, как обстоят дела с вашей интеллектуальной собственностью и как вы хотите ей управлять в контексте ИИ. Для информационных сайтов с большим объёмом авторского контента это напрямую влияет на защиту их ключевого актива. Если вы ещё не задумывались, какая часть вашего контента может использоваться для обучения ИИ, самое время начать.