«Яндекс» предложил правительству России новый способ проверки ИИ-систем
«Яндекс» представил российскому правительству концепцию национального датасета — специализированного набора данных, предназначенного для валидации ИИ‑систем. Цель инструмента — определять, насколько поведение моделей согласуется с духовно‑нравственными установками и насколько они адаптированы к российским условиям. В то же время в самой компании авторство такое инициативы отрицают.
Пока инициатива остается в зоне проработки, еще не зафиксированы ни правила допуска к тестовым материалам, ни перечень организаций и специалистов, уполномоченных формировать задания и эталонные решения.
Сведения о документе появились после заседания рабочей группы по регулированию и административным барьерам в сфере ИИ 13 августа. Факт передачи концепции подтвердили собеседник «Ъ», близкий к Минцифры, и один из участников встречи. Бенчмарк задуман как унифицированный комплект контрольных вопросов и корректных ответов, который он должен дать возможность объективно сопоставлять разные модели и фиксировать, соответствуют ли их реакции «духу времени и ценностям страны».
Споры идут вокруг режима доступа к тестовым материалам. В ФСБ настаивают на закрытом формате набора данных, чтобы исключить риск предварительной адаптации моделей под конкретные формулировки и сценарии. Бизнес‑сообщество, напротив, указывает, что отсутствие публичной версии затруднит итеративную доработку продуктов и усложнит процесс устранения выявленных отклонений.
В качестве сбалансированного решения обсуждается двухуровневая архитектура проверки: общедоступный бенчмарк можно использовать для внутренних и предварительных тестов, а закрытый набор — для официальной валидации. При этом тематические направления в обоих вариантах могут пересекаться, но сами задания планируется составлять в разных формулировках.
Остается открытым и вопрос методологии наполнения датасета. Представители ИТ‑индустрии предлагают сформировать координационную комиссию, в которую войдут представители профильных ведомств, коммерческих компаний и независимых экспертных структур. В аппарате профильного вице‑премьера Дмитрия Григоренко подтвердили, что консультации с отраслью и заинтересованными органами продолжаются. В Минцифры уточнили, что подзаконные акты к закону об ИИ все еще находятся в стадии согласования с бизнес‑сообществом. Запросы «Ъ» в «Яндекс» и Альянс ИИ остались без ответа.
В то же время в пресс-службе «Яндекса» «Инку» уточнили, что компания не представляла концепцию национального датасета и набор тестов для проверки ИИ-моделей.
«На рабочей встрече в Минцифры представители нескольких компаний обсуждали возможные подходы к такой проверке. «Яндекс» был одним из участников обсуждения и высказал свою позицию — содержание датасета должно быть открытым по общепринятым принципам отрасли», — уточнили там.
Ограничение связано с динамикой развития ИИ‑продуктов. Как отмечает Рафаэль Гильмурахманов из «АрхиТех ИИ» (разработчик Kodik), даже точечное изменение одной поведенческой характеристики модели способно вызвать каскадные эффекты в других ее функциях, а новые версии решений выходят на рынок каждые несколько недель. В таких условиях проведение полного цикла тестирования для каждой ревизии может существенно растянуть сроки выпуска обновлений.
Ранее глава Минцифры Максут Шадаев подчеркивал, что устойчивое развитие ИИ‑технологий невозможно без крупных массивов данных и репрезентативных датасетов.
Участники рынка неоднозначно оценивают целесообразность закрытого формата тестирования. Алексей Борщов, бизнес‑архитектор ИИ‑проектов «Авандок» (ГК «КОРУС Консалтинг»), считает закрытые эталонные ответы необходимым элементом защиты от формальной «настройки под тест»: при наличии открытого бенчмарка со временем можно разработать даже простые скрипты, стабильно демонстрирующие высокий результат.
Роман Перепонов, директор по информационной безопасности GreenData, предлагает сегментировать подходы в зависимости от типа задач. Так, для областей с однозначными критериями (например, математика или программирование) допустимо использовать жесткий эталон, тогда как оценку ценностного соответствия целесообразно выстраивать через рубрикатор либо с привлечением профильных экспертов.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
