Nvidia представила первый ИИ-процессор для запуска моделей с контекстным окном более 1 млн токенов
Американская компания Nvidia представила свой первый графический процессор (GPU) Rubin CPX, специально разработанный для работы с ИИ-моделями, оперирующими контекстными окнами в миллионы токенов. Это решение нацелено на задачи, связанные с анализом целых кодовых баз, длинных документов или многочасовых видео, где стандартные GPU испытывают трудности.
Современные ИИ-модели переросли возможности традиционных GPU. Стандартные архитектуры не справляются с обработкой огромных объемов данных, необходимых для анализа сложных контекстов, таких как полные репозитории кода или полнометражные фильмы. Разработчики генеративных видео и продвинутых ассистентов кодирования достигли предела производительности существующих систем.
Решением стал Rubin CPX — процессор, созданный для вывода моделей с огромным контекстным окном. Он является центральным элементом новой платформы Vera Rubin NVL144 CPX. Одна такая стойка, включающая 144 GPU Rubin CPX, а также GPU Rubin и CPU Vera, обеспечивает производительность в 8 экзафлопс (единица измерения скорости выполнения операций) — это в 7,5 раз больше, чем у предыдущего поколения GB300 NVL72. Платформа имеет 100 терабайт памяти и пропускную способность до 1,7 петабайт в секунду.
На уровне чипа Rubin CPX обеспечивает до 30 петафлопс (тоже единица измерений, но меньше, чем экзафлопс) вычислений при точности NVFP4. Он оснащен 128 ГБ памяти GDDR7. Это втрое ускоряет обработку внутренних механизмов внимания нейросетей по сравнению с системами на базе GB300. Аппаратная поддержка кодирования и декодирования видео устраняет необходимость в дополнительных ускорителях для задач генерации видео.
По оценкам компании, каждые $100 млн, вложенные в платформу, могут принести до $5 млрд дохода от токенов. Такие стартапы, как Cursor (ИИ-редактор кода) и Runway (генеративное видео), уже внедряют новую технологию для повышения производительности и создания принципиально новых рабочих процессов.
