Yandex B2B Tech представил универсальную платформу для работы с большими данными

Компания Yandex B2B Tech открыла доступ к собственной платформе YTsaurus, предназначенной для хранения и обработки массивов данных любого объема. Решение позволяет компаниям анализировать эксабайты информации и обучать сложные модели машинного обучения с миллиардами параметров. Подробности — в распоряжении редакции «Инк.».

Платформа доступна в двух вариантах: в виде облачного сервиса с полной поддержкой специалистов «Яндекса» и в формате on-premise для развертывания в инфраструктуре заказчика. Для получения раннего доступа необходимо оставить заявку на официальном сайте.

Разработка YTsaurus ведется с 2010 года. Сегодня платформа используется для обработки данных большинства сервисов компании, включая обучение YandexGPT и других нейросетевых моделей, а также для задач поискового индекса. Например, «Яндекс Маркет» применяет ее для разработки системы промоакций, а команда автономного транспорта — для анализа данных о поездках и совершенствования алгоритмов.

Ранее технология была доступна в открытом исходном коде и уже нашла применение в крупных технологических компаниях как в России, так и за рубежом.

YTsaurus подходит для работы с любыми объемами данных — от небольших массивов до задач, требующих использования миллионов CPU и десятков тысяч GPU. Платформа поддерживает как классическую MapReduce-архитектуру, так и популярные решения для обработки данных, включая ClickHouse и Apache Spark.

Среди возможных сценариев использования — создание корпоративных хранилищ данных, построение ETL-систем, обработка структурированных, неструктурированных и полуструктурированных данных, включая логи и финансовые транзакции.