Intel, Linux и Cloudera решили создать открытые инструменты генеративного ИИ для предприятий

Linux Foundation вместе с Cloudera и Intel намерены выяснить, может ли генеративный ИИ, разработанный для предприятий, стать способным к взаимодействию. Linux Foundation объявила о запуске Open Platform for Enterprise AI (OPEA), проекта, призванного способствовать развитию открытых, многопровайдерских и композитных (т. е. модульных) систем генеративного ИИ.

Цель OPEA, который вела организация Linux Foundation AI and Data (специализируется на инициативах по платформам, связанным с ИИ и данными), — проложить путь к выпуску «защищенных» и «масштабируемых» генеративных систем ИИ, «использующих лучшие инновации с открытым исходным кодом во всей экосистеме», — заявил в пресс-релизе исполнительный директор LF AI and Data Ибрагим Хаддад.

«OPEA откроет новые возможности в области искусственного интеллекта, создав детальную, композитную структуру, которая стоит в авангарде технологических стеков, — сказал Хаддад. — Эта инициатива является подтверждением нашей миссии по стимулированию инноваций с открытым исходным кодом и сотрудничества в сообществах ИИ и данных в рамках нейтральной и открытой модели управления».

OPEA включает в себя таких корпоративных тяжеловесов, как Intel, Cloudera, Red Hat, принадлежащий IBM, Hugging Face, Domino Data Lab, MariaDB и VMware. Хаддад намекает на несколько возможностей, которые эти компании могут реализовать вместе: «оптимизированная» поддержка инструментальных цепочек и компиляторов ИИ, которые позволяют рабочим нагрузкам ИИ работать на различных аппаратных компонентах, а также «гетерогенные» конвейеры для генерации с расширением поиска (RAG).

RAG становится все более популярным в корпоративных приложениях генеративного ИИ, и нетрудно предположить почему. Ответы и действия большинства моделей генеративного ИИ ограничены данными, на которых они обучались. Но в RAG база знаний может быть расширена за счет информации за пределами исходных обучающих данных.

Модели RAG ссылаются на внешнюю информацию, которая может принимать форму собственных данных компании, общедоступной базы данных или их комбинации, прежде чем генерировать ответ или выполнять задачу.

В пресс-релизе Intel предоставила еще несколько подробностей: компании сталкиваются с проблемой подхода «сделай сам», поскольку отсутствуют де-факто стандарты на компоненты, которые позволяют предприятиям выбирать и внедрять открытые и взаимодействующие решения RAG, помогающие им быстро выходить на рынок. OPEA намерена решить эти проблемы, сотрудничая с отраслью для стандартизации компонентов, включая фреймворки, образцы архитектуры и эталонные решения.

В своем репозитории на GitHub OPEA предлагает рубрику для оценки систем генеративного ИИ по четырем осям:

• производительность,
• возможности,
• надежность,
• готовность к корпоративному уровню.

Производительность, как ее определяет OPEA, относится к тестам «черного ящика» из реальных сценариев использования. Функции — это оценка совместимости системы, вариантов внедрения и простоты использования. Надежность предполагает способность модели ИИ гарантировать «надежность» и качество. А готовность предприятия фокусируется на требованиях, позволяющих запустить систему без серьезных проблем.

Рейчел Румелиотис, директор по стратегии открытого кода в Intel, говорит, что OPEA будет работать с сообществом открытого кода, предлагая тесты, основанные на данной системе, а также предоставляя оценки и градации внедрения генеративного ИИ по запросу. Другие начинания OPEA на данный момент немного неясны. Но Хаддад отметил возможность разработки открытых моделей по примеру расширяющегося семейства Llama от Meta* (запрещена на территории РФ) и DBRX от Databricks.

С этой целью в репозитории OPEA компания Intel уже предоставила эталонные реализации чат-бота на базе генеративного искусственного интеллекта, обобщающего документы и генераторы кода, оптимизированного для оборудования Xeon 6 и Gaudi 2. Теперь члены OPEA явно заинтересованы в создании инструментов для корпоративного генеративного ИИ.

Компания Cloudera недавно запустила партнерские отношения для создания «экосистемы ИИ» в облаке. Domino предлагает набор приложений для создания и аудита генеративного ИИ, ориентированного на бизнес. А компания VMware, ориентированная на инфраструктурную сторону корпоративного ИИ, в августе прошлого года выпустила новые продукты для вычислений «частного ИИ».

Вопрос в том, будут ли они работать вместе над созданием кросс-совместимых инструментов ИИ в рамках OPEA. В этом есть очевидная выгода. Клиенты с удовольствием будут пользоваться услугами нескольких поставщиков в зависимости от своих потребностей, ресурсов и бюджета.

Nvidia достигла рыночной капитализации в $2,2 трлн, производя чипы для искусственного интеллекта, которые необходимы разработчикам генеративного ИИ, от стартапов до Microsoft, OpenAI и Google. Однако не менее важную роль играет компьютерный код компании, который создавался почти 20 лет и делает конкуренцию с компанией практически невозможной. Но Qualcomm, Google и Intel планируют ослабить влияние Nvidia в области искусственного интеллекта.