В 2025 году Википедия призналась, что 65% самого дорогого трафика приходится на нейросети. В процессе обучения AI-боты, в отличие от реальных пользователей, заходят на все страницы сайта и делают это намного чаще. Так как ботов-разведчиков искусственного интеллекта становится всё больше, растет и нагрузка на серверы.
Это было предисловие, сутью которого является факт неотвратимости изменений для всего интернета в связи с появлением технологии LLM - Large Language Model (Большая языковая модель), на которой основан принцип работы ИИ.
Качество работы любой LLM напрямую зависит от того, каким количеством информации она оперирует, соответственно ей необходимо регулярно получать актуальные данные из как можно большего количества источников.
Процесс автоматизирован, нейросети получают ценные данные с помощью "краулеров" - поисковых пауков, которые обходят интернет и пополняют базу данных нейросети.
Процесс неоднозначен - в то время, как некоторые уже начали бороться с нейросетями из-за прав на свой контент, требуя исключить его из LLM и пытаясь запретить ИИ собирать данные со своих сайтов, другие, напротив, стремятся попасть в зону досягаемости LLM, чтобы нейросети цитировали их в сгенерированных ответах с целью дотянуться до пользователей, которым становится все менее интересной старая добрая поисковая выдача Яндекса и Google (поговаривают даже, что жить ей осталось не более 2-3 лет).
Так как последних большинство, возникает вопрос, как сделать так, чтобы AI ботам было как можно комфортнее на сайте, и чтобы они максимально быстро спарсили максимально большое количество нужной информации.
Существующих инструментов типа robots.txt и sitemap оказалось недостаточно и возник инструмент llms.txt
Его принцип действия прост: в данном файле указывается краткая информация о содержимом сайта в формате markdown - так AI ботам проще всего воспринимать данные. Файл размещается в корневом каталоге сайта.
llms.txt - это как бы точка входа и система указателей для AI, чтобы он не пропустил важное при сканировании сайта (если нет такого файла, предполагается, что AI сканирует как умеет и может пропустить что-то важное).
В данном файле желательно прописывать степень важности страниц, разделов.
Рекомендации по оформлению текста в llms.txt:
- Короткие, легко просматриваемые абзацы.
- Четкие заголовки и подзаголовки (иерархия уровней H1–H3).
- Списки, таблицы и маркеры.
- Четко очерченная тематика (переходите к сути как можно раньше).
- Минимум отвлекающих факторов (никаких всплывающих окон или модальных наложений).
- Семантические подсказки, такие как “Шаг 1”, “Вкратце” или “Ключевым моментом является...”
Вкратце принципы оформления данных в llms.txt выглядят так:
- Один заголовок H1 (#), обозначающий проект или сайт. (Это единственный обязательный элемент).
- Цитата (>), дающая краткое описание или контекст для следующих ссылок.
- Стандартные разделы markdown (например, абзацы или списки), которые предоставляют дополнительный контекст. (Они не обязательны, поэтому вы можете использовать их столько, сколько захотите, или вообще не использовать.)
- Один или несколько заголовков H2 (##), в которых представлены разделы ссылок по категориям
- Каждая ссылка в этих разделах оформлена как markdown [заголовок], гиперссылка (url), за которой при необходимости следует : описание.
Как создать документ (и прочая документация) расписано на сайте https://llmstxt.org/
Некоторые издатели размещают на сайте и документ llms-full.txt, который содержит всю информацию, имеющуюся на сайте в удобном для ИИ формате, заявляя при этом, что данный файл пользуется "спросом" у нейросетей даже больше, чем краткий llms.txt
Уже появляются генераторы файла llms.txt
Описанный выше формат не является общепринятым, однако его уже используют некоторые "гигианты", вот пример llms.txt инструмента Google Agent2Agent (данный инструмент, кстати, тоже связан с нейросетями - он позволяет искусственным интеллектуальным агентам безопасно и эффективно взаимодействовать между собой, даже если они были созданы разными разработчиками или построены на разных технологических фреймворках)
Обсуждается появление иного стандарта в виде файла ai.txt (пока не реализовано), преследующего ту же цель оптимизировать сайт для нейросетей.
Вывод: llms.txt не заменяет и не аналогичен robots.txt и sitemap, но может улучшить процесс сбора информации о сайте AI-ботами.
Как считаете, приживется ли данный формат или это лишь очередная порция нейросетевого хайпа?