Почему в США заблокировали закон, который должен помешать ИИ устроить конец света

В августе этого года комитет по ассигнованиям Калифорнии принял законопроект SB 1047 с существенными поправками. Он был направлен на то, чтобы привлечь разработчиков ИИ к ответственности в случае, если технология нанесет ущерб, превышающий $500 млн.

Тем не мене в конце сентября губернатор Калифорнии Гэвин Ньюсом наложил вето на законопроект, который ввел бы самые строгие в стране правила регулирования в сфере разработки систем искусственного интеллекта. Это стало крупной победой для технологических компаний и инвесторов-капиталистов, настроенных против законопроекта, и поражением для сторонников более жесткого регулирования умных технологий.

Потенциальная угроза

Несмотря на то что преследует, казалось бы, благие цели, документ вызвал недовольство венчурных инвесторов, крупных технологических торговых групп, исследователей и основателей стартапов. Это не первый в США законопроект об искусственном интеллекте, тем не менее он стал одним из самых противоречивых.

Кроме того, законопроект возлагает на разработчиков, то есть компании, которые создают такие модели, ответственность за внедрение достаточных протоколов безопасности для предотвращения подобных последствий.

SB 1047 распространяется только на самые крупные модели ИИ в мире, то есть те, что стоят не менее $100 млн и используют 10²⁶ FLOPS (FLoating-point OPerations per Second — единица, используемая для измерения производительности компьютеров. Показывает, сколько операций с плавающей запятой в секунду выполняет вычислительная система. — Прим. ред.) во время обучения. Генеральный директор OpenAI Сэм Альтман сказал, что обучение GPT-4 обошлось примерно в эту же сумму.

Убедиться в безопасности

Модели ИИ — по сути, массивные статистические системы, которые выявляют закономерности в данных, совершенствуются по мере роста их масштабов, и многие ожидают, что эта тенденция сохранится. Марк Цукерберг недавно заявил, что следующее поколение нейросети Llama от Meta* (компания запрещена и признана экстремистской на территории России. — Прим. ред.) потребует в 10 раз больше вычислений, а значит, система подпадает под действие нового закона.

Закон возлагает ответственность на первоначального разработчика системы в том случае, если другой девелопер не потратит в три раза больше средств на создание производной от первоначальной модели.

Инициатива также требует наличия протокола безопасности для предотвращения неправомерного использования продуктов искусственного интеллекта, в том числе кнопку «аварийной остановки», которая отключает всю модель ИИ. Кроме того, если бы закон вступил в силу, разработчики должны были бы внедрить процедуры тестирования, учитывающие риски, связанные с использованием нейросетей, и ежегодно нанимать сторонних аудиторов для оценки методов обеспечения безопасности.

Механизмы контроля

За соблюдением правил должно следить калифорнийское агентство — Совет по вопросам передовых моделей (Board of Frontier Models), — его планировали сформировать в 2026 году. Согласно проекту, каждая новая модель ИИ, соответствующая критериям законопроекта, должна пройти индивидуальную сертификацию и получить копию протокола безопасности.

Закон обязывает каждого технического директора компании-разработчика ежегодно представлять в FMD сертификат, в котором оцениваются потенциальные риски ИИ-модели, эффективность протокола безопасности и отчет о соблюдении закона. Как и в случае с уведомлениями о нарушениях, если «ИИ станет причиной инцидента», разработчик должен сообщить об этом регулятору в течение 72 часов. Законопроект также предусматривает защиту сотрудников компаний, если о проблеме заявят они.

Даже если компания создаст модель стоимостью $100 млн в Техасе или, скажем, во Франции, она подпадает под действие SB 1047 до тех пор, пока осуществляет деятельность в штате Калифорния.

За и против

Ведущие исследователи технологий искусственного интеллекта Джеффри Хинтон и Йошуа Бенгио поддержали этот законопроект. Они принадлежат к части сообщества, обеспокоенной негативными сценариями, к которым может привести эта технология. За принятие SB 1047 выступил и «Центр безопасности ИИ» — в мае 2023 года эта группа написала открытое письмо, где призвала мировое сообщество отнестись к «снижению риска вымирания от ИИ» так же серьезно, как к пандемии или ядерной войне.

Проблема не оставила в стороне даже Голливуд: режиссер «Звездных войн» Джей Джей Абрамс, актер «Лунного света» Махершала Али и еще более 120 актеров и продюсеров отправили сенатору Ньюсому письмо с просьбой подписать законопроект.

Ожидаемо, что у закона SB 1047 нашлись и противники. Среди них венчурная компания a16z, основанная Марком Андреессеном и Беном Хоровицем. Главный юрист Джайкумар Рамасвами направил сенатору Винеру письмо, где утверждал, что законопроект «в связи с плавающими пороговыми значениями станет бременем для стартапов» и окажет негативное воздействие на экосистему ИИ. По его словам, с развитием технологий модели будут становиться все дороже, а это значит, что все больше стартапов преодолеют порог в $100 млн и подпадут под действие SB 1047.

Победили гиганты

Китайская исследовательница Фей-Фей Ли, которую часто называют «крестной матерью искусственного интеллекта» в начале августа написала в колонке Fortune, что законопроект «повредит зарождающейся экосистеме ИИ». Хотя Ли является признанным пионером в области исследований ИИ из Стэнфорда, стоит отметить, что в апреле она при поддержке компании a16z запустила ИИ-стартап под названием World Labs, оцениваемый в $1 млрд.

Крупные технологические компании, на которые непосредственно ориентирован законопроект, также выступили против SB 1047. «Палата прогресса», торговая группа, представляющая интересы Google, Apple, Amazon и других гигантов технологического рынка, выступила против законопроекта, опубликовав открытое письмо, где говорится, что он ограничивает свободу слова и «вытесняет технологические инновации из Калифорнии».

Видные калифорнийские политики, в том числе депутат Нэнси Пелоси, утверждали, что законопроект затормозит инновации, сделает разработку новых систем искусственного интеллекта юридически рискованной, поскольку проверить все потенциальные «вредности» многоцелевой технологии может быть сложно или невозможно. Противники проекта также утверждали, что наказывать следует не разработчиков, а тех, кто использует ИИ во вред.