Марк Цукерберг: Meta* понадобится в 10 раз больше вычислительной мощности для обучения Llama 4

Meta* (запрещена и признана экстремистской в РФ) занимается разработкой одной из крупнейших языковых моделей Llama, и, по словам Марка Цукерберга, для обучения Llama 4 компании потребуется в 10 раз больше вычислительных мощностей, чем для обучения Llama 3, сообщает TechCrunch.

«Объем вычислений, необходимый для обучения Llama 4, вероятно, будет почти в 10 раз больше, чем тот, который мы использовали для обучения Llama 3, и будущие модели будут продолжать расти. Трудно предсказать, как это повлияет на будущее нескольких поколений. Но на данном этапе я бы предпочел рискнуть и нарастить потенциал до того, как он понадобится, чем сделать это слишком поздно, учитывая длительные сроки запуска новых проектов вывода», — сказал Цукерберг.

В апреле Meta* выпустила Llama 3 с 8 млрд параметров. На прошлой неделе компания представила обновленную версию модели под названием Llama 3.1 405B, которая имеет 405 млрд параметров, что сделало ее крупнейшей моделью Meta* с открытым исходным кодом.

Финансовый директор Meta* Сьюзан Ли заявила, что компания думает о различных проектах центров обработки данных и создании мощностей для обучения будущих моделей ИИ. Она также сообщила, что, по ожиданиям Meta*, эти инвестиции увеличат капитальные затраты в 2025 году.

Обучение больших языковых моделей может быть дорогостоящим бизнесом. Капитальные затраты Meta* выросли почти на 33%, до $8,5 млрд во втором квартале 2024 года с $6,4 млрд годом ранее, что обусловлено инвестициями в серверы, центры обработки данных и сетевую инфраструктуру.

«По мере того как мы расширяем возможности обучения генеративного ИИ для совершенствования наших базовых моделей, мы продолжим строить нашу инфраструктуру таким образом, чтобы обеспечить нам гибкость в ее использовании с течением времени. Это позволит нам направлять потенциал обучения на вывод GenAI или на нашу основную работу по ранжированию и рекомендациям, когда мы ожидаем, что это будет более ценным», — сказала Ли.

Сьюзан Ли также рассказала об использовании Gen AI, ориентированного на потребителя, и заявила, что Индия является крупнейшим рынком ее чат-бота. Ли отметила, что компания не ожидает значительного вклада в доход от продуктов Gen AI.

В июле Meta* заявила, что не будет выпускать продвинутую версию своей модели искусственного интеллекта в ЕС, объясняя это решение «непредсказуемым» поведением регулирующих органов. Компания готовится выпустить модель Llama в мультимодальной форме, что означает, что она может работать с текстом, видео, изображениями и аудио, а не только с одним форматом.