Бывший исследователь OpenAI Андрей Карпати заявил, что к концу 2025 года 99,9% нового контента в интернете будет оптимизировано под большие языковые модели (LLM), а не под человека. Он отметил, что текущая документация по-прежнему создается в формате статических HTML-страниц, но в ближайшем будущем она перейдет в единый формат, адаптированный под контекстное окно LLM.

Карпати подчеркивает, что основная сложность заключается не в объединении кодовых баз, а в оптимизации контента эпохи до ИИ — веб-сайтов, PDF-файлов, изображений, видео и аудио. Индустрии необходимы новые стандарты, одинаково эффективные как для людей, так и для машин.

Но Карпати пошел дальше прогнозов. Он представил новый веб-стандарт под названием llms.txt, который функционирует аналогично index.html, но предназначен для языковых моделей. Если index.html направляет пользователей к HTML-версии страницы, llms.txt будет указывать ИИ-системам путь к машиночитаемой Markdown-версии.

Такой двойной подход позволяет сайтам поддерживать как привычный для людей интерфейс, так и оптимизированную для ИИ версию контента. Компании вроде Anthropic уже внедрили этот стандарт.

Переход к ИИ-ориентированному контенту глубоко изменит цифровую экономику, которая сейчас основана на человеческом внимании. Отрасли предстоит полностью переосмыслить цепочки создания стоимости и модели доходов, поскольку потребителями контента все чаще становятся ИИ-системы, а не люди.

Компании, разрабатывающие LLM, превращаются в новых «привратников» информации, решая, какой контент увидят их системы. Это вызывает серьезные вопросы о контроле доступа к информации, особенно учитывая, что большие языковые модели все еще часто ошибаются при обработке и воспроизведении данных.