Независимые лаборатории могут начать проверять большие российские ИИ-модели на нравственность
В России готовят механизм, который позволит проверять крупные модели искусственного интеллекта через независимые испытательные организации. Сейчас Минцифры совместно с ИТ-компаниями определяет, как должна выглядеть такая экспертиза и кто сможет ее проводить.
Необходимость новой процедуры связана с законом об ИИ, вступившим в силу после принятия 26 июля. Документ вводит два специальных статуса для больших фундаментальных моделей — национальный и суверенный (главное — не перепутать). Разработчик сможет претендовать на них только после подтверждения соответствия системы российскому законодательству и традиционным духовно-нравственным ценностям.
При этом речь не идет о поголовной проверке всех нейросетей. Требования будут применяться к разработчикам, которые рассчитывают на специальные статусы и связанные с ними преимущества со стороны государства. В частности, речь идет о господдержке, доступе к государственным данным и приоритетном использовании таких технологий в отдельных направлениях.
Механизм предполагает разделение ответственности между разработчиком, испытательной организацией и государством. Сначала компания самостоятельно проводит оценку своей модели по общей риск-ориентированной методике. Затем результаты передаются аккредитованной лаборатории, которая сможет проверить расчеты и провести дополнительные испытания.
Проверять предполагается не только содержание ответов нейросети. В программу тестирования могут включить попытки обойти встроенные ограничения с помощью промпт-инъекций. Таким образом, эксперты будут оценивать не только то, как модель отвечает на потенциально проблемные запросы, но и насколько надежно работают предусмотренные разработчиком механизмы защиты.
По итогам испытаний лаборатория должна будет подготовить заключение. Однако выдавать окончательное разрешение на получение специального статуса она не сможет. Финальное решение, согласно обсуждаемой схеме, останется за Минцифры.
Отдельные требования будут действовать для ИИ, который предполагается использовать в государственных информационных системах. Их безопасность будут оценивать ФСБ и ФСТЭК. Для этого может потребоваться изменение действующих нормативных документов.
Особое место в будущей методике займет оценка соответствия традиционным ценностям. Отдельно формировать их перечень власти не планируют: соответствующие положения уже закреплены в указе президента № 809. Вместо этого планируется создать набор бенчмарков, позволяющих перевести общие требования в конкретные тестовые сценарии.
Эта часть процедуры может оказаться наиболее сложной. Эксперты отмечают, что такие понятия, как справедливость, гражданственность или историческая память, допускают разные трактовки и не имеют очевидного набора технических показателей. Поэтому участникам рынка предстоит договориться о том, какие запросы использовать при проверке и какие ответы считать допустимыми.
Еще один обсуждаемый вариант — отказаться от единственной организации, отвечающей за экспертизу, и сформировать сеть аккредитованных лабораторий. Требования к ним сейчас также прорабатываются. При этом для всех участников предполагается сохранить общую методику, чтобы результаты испытаний можно было сопоставлять.
Эксперты предлагают дополнительно закрепить процедуру повторной проверки после серьезного обновления модели. В числе возможных требований — фиксация версии нейросети, параметров тестирования, перечня проверенных запросов и результатов экспертизы. Рассматривается и создание публичного реестра выданных заключений.
Окончательные правила пока не утверждены. В Минцифры отмечают, что пакет подзаконных актов проходит межведомственное согласование и корректируется с учетом предложений бизнеса и экспертов.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
