Новая технология от стартапа doubleAI снизила расходы на вычислительные мощности для ИИ на 67%
Израильский стартап doubleAI из Тель-Авива представил новый класс ИИ-моделей, которые помогают компаниям сократить затраты на вычислительные мощности. По данным компании, у одного из ранних клиентов расходы на вычисления снизились на 67%. Первая модель под названием Maxwell станет доступна клиентам в конце октября, пишет The Wall Street Journal.
Сооснователь и гендиректор doubleAI Амнон Шашуа участвовал в создании компании Mobileye, которая разрабатывает системы для автономного вождения. Он остается CEO Mobileye, но в июле эта компания сообщила, что Шашуа покинет пост после назначения преемника.
Среди инвесторов doubleAI фонды Lightspeed Venture Partners и Bessemer Venture Partners, а также Nvidia и Dell. Всего стартап привлек $220 млн за два года.
Новый класс моделей doubleAI называет «моделями исполнения кода» (code execution models, CEM) и говорит, что они располагаются «между кодом и кремнием». В отличие от больших языковых моделей, которые помогают людям писать код, CEM работают внутри запущенных программ и действуют без участия человека.
Они помогают выполнять программы и сами находят способы ускорить код. Главной трудностью, по словам Шашуа, была проверка кода: компания нашла способ формальной математической верификации.
Спрос на такое решение связан с ростом цен на вычисления при дефиците мощностей. По данным SemiAnalysis, почасовая стоимость аренды мощностей на чипах Nvidia H100 по годовому контракту за год выросла на 60%. Шашуа отметил, что оборудования строят больше, но потребность в вычислениях растет быстрее возможностей производства GPU и CPU, поэтому лучшее использование имеющегося железа дает заметную экономию.
Выручку doubleAI планирует получать из доли от сэкономленных средств клиента. Например, если счет клиента за вычисления снизится с $10 млн до $6 млн, стартап оставит себе часть от сэкономленных $4 млн. Размер доли Шашуа не раскрыл.
Компания LTX, которая создает открытые мультимодальные модели, ускорила с помощью Maxwell инференс своей модели вдвое. Соучредитель и гендиректор LTX Зеев Фарбман пояснил, что ускорение напрямую переводится в деньги: у GPU-времени есть рыночная цена, и сокращение его вдвое сразу снижает расходы на обслуживание моделей и повышает маржу.
Больше всего пользы Шашуа ждет от компаний с очень большими счетами за обучение и инференс, например от лабораторий вроде OpenAI и Anthropic. По его словам, для компаний со счетом около $2 млн экономия в полмиллиона не в приоритете, а вот для крупных лабораторий даже 10% экономии на вычислениях могут означать сотни миллионов долларов.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
