Сотрудники OpenAI предупредили мир о рисках ИИ и отсутствии надзора

Сотрудники OpenAI опубликовали письмо, в котором выразили обеспокоенность быстрым развитием индустрии ИИ, несмотря на отсутствие надзора и защиты от разоблачителей, поделились новостью CNBC. «У компаний, занимающихся разработкой искусственного интеллекта, есть серьезные финансовые стимулы избегать эффективного надзора», — пишут сотрудники.

Группа нынешних и бывших сотрудников OpenAI опубликовала открытое письмо, в котором выразила обеспокоенность быстрым развитием индустрии искусственного интеллекта, несмотря на отсутствие надзора и защиты от разоблачителей для тех, кто хочет высказаться.

«У компаний, занимающихся разработкой искусственного интеллекта, есть серьезные финансовые стимулы избегать эффективного надзора, и мы не считаем, что существующих структур корпоративного управления достаточно, чтобы изменить ситуацию», — пишут сотрудники.

OpenAI, Google, Microsoft, Meta* (запрещена на территории РФ) и другие компании возглавляют гонку вооружений генеративного ИИ — рынок, который, по прогнозам, в течение десятилетия превысит $1 трлн, — поскольку компании, казалось бы, в каждой отрасли спешат добавить чат-ботов и агентов на базе ИИ, чтобы не остаться позади конкурентов.

Сотрудники написали, что ИИ-компании обладают существенной непубличной информацией о том, на что способны их технологии, о степени принятых ими мер безопасности и об уровне риска, который технология несет для различных видов вреда.

«Мы также понимаем серьезные риски, связанные с этими технологиями, — написали они. — Компании в настоящее время имеют лишь слабые обязательства делиться частью этой информации с правительствами и никакие — с гражданским обществом. Мы не думаем, что на них можно положиться в плане добровольного обмена информацией».

В письме также подробно излагаются опасения по поводу недостаточной защиты от разоблачителей в индустрии искусственного интеллекта и говорится, что в отсутствие эффективного государственного надзора «сотрудники находятся в относительно уникальном положении для привлечения компаний к ответственности».

«Широкие соглашения о конфиденциальности не позволяют нам высказывать свои опасения, за исключением тех компаний, которые, возможно, не решают эти проблемы, — пишут подписавшиеся. — Обычные меры защиты информаторов недостаточны, поскольку они направлены на противозаконную деятельность, в то время как многие из рисков, которые нас беспокоят, еще не регулируются».

В письме содержится просьба к ИИ-компаниям взять на себя обязательства:

• не заключать и не исполнять соглашения о неразглашении информации;
• создать анонимные процедуры для нынешних и бывших сотрудников, чтобы они могли высказать свои опасения совету директоров компании, регулирующим органам и другим лицам;
• поддерживать культуру открытой критики;
• не принимать ответных мер в отношении публичных разоблачений, если внутренние процессы отчетности не работают.

Письмо подписали четыре анонимных сотрудника OpenAI и семь бывших сотрудников. Среди них Рамана Кумар, ранее работавший в Google DeepMind, и Нил Нанда, который в настоящее время работает в Google DeepMind, а ранее трудился в Anthropic. Письмо также поддержали три знаменитых ученых-компьютерщика, известных своими достижениями в области искусственного интеллекта: Джеффри Хинтон, Йошуа Бенгио и Стюарт Рассел.

Представитель OpenAI сказал, что они согласны с крайней важностью строгих дебатов, учитывая значимость этой технологии, и они будут продолжать взаимодействовать с правительствами, гражданским обществом и другими сообществами по всему миру.

В компании действует анонимная горячая линия по вопросам честности и неподкупности, а также комитет по безопасности, возглавляемый членами совета директоров и руководителями OpenAI, сказал представитель компании.

В мае OpenAI отказалась от спорного решения заставить бывших сотрудников выбирать между подписанием соглашения о неразглашении информации, срок действия которого никогда не истечет, и сохранением своих долей в компании. Внутренняя записка была разослана бывшим сотрудникам и передана нынешним.

В памятке, адресованной каждому бывшему сотруднику, говорилось, что во время ухода из OpenAI «вас могли проинформировать о том, что вы должны были подписать общее соглашение об освобождении, включающее положение о неразглашении, чтобы сохранить наделенные правами единицы акционерного капитала».

«Нам невероятно жаль, что мы меняем эту формулировку только сейчас; она не отражает наши ценности или компанию, которой мы хотим быть», — сказал тогда представитель OpenAI.

Открытое письмо последовало за решением OpenAI в мае распустить свою группу, занимающуюся долгосрочными рисками ИИ, всего через год после объявления о создании группы, подтвердил источник, знакомый с ситуацией. Он добавил, что некоторые члены группы переведены в другие команды внутри компании.

Команда была расформирована после того, как ее руководители, сооснователь OpenAI Илья Суцкевер и Ян Лейке, объявили о своем уходе из стартапа. Лейке написал в посте на сайте X, что культура безопасности и процессы OpenAI отошли на второй план перед блестящими продуктами.

Генеральный директор Сэм Альтман заявил на сайте X, что ему грустно видеть уход Лейка и что компании предстоит еще много работы. Вскоре после этого соучредитель OpenAI Грег Брокман опубликовал на сайте X заявление, приписываемое Брокману и Альтману, в котором утверждалось, что компания повысила осведомленность о рисках и возможностях AGI, чтобы мир мог лучше подготовиться к ним.

«Я присоединился к компании, потому что считал OpenAI лучшим местом в мире для проведения этих исследований, — написал Лейк на сайте X. — Однако я долгое время не соглашался с руководством OpenAI по поводу основных приоритетов компании, пока мы наконец не достигли точки разрыва».

Лейке написал, что, по его мнению, гораздо больше внимания должно уделяться безопасности, мониторингу, готовности и влиянию на общество. «Эти проблемы довольно сложно решить, и я обеспокоен тем, что мы не находимся на траектории их решения, — написал он. — В последние несколько месяцев моя команда плыла против ветра. Иногда мы боролись за вычислительные ресурсы, и нам становилось все труднее и труднее проводить эти важнейшие исследования».

Лейке добавил, что OpenAI должна стать компанией AGI, ориентированной на безопасность. «Создание более умных, чем человек, машин по своей сути является опасным делом, — написал он. — OpenAI несет огромную ответственность от имени всего человечества. Но за последние годы культура безопасности и процессы отошли на второй план по сравнению с блестящими продуктами».

Громкие отставки произошли спустя несколько месяцев после того, как OpenAI пережила кризис руководства, связанный с Альтманом. В ноябре совет директоров OpenAI сместил Альтмана, сообщив в своем заявлении, что Альтман не был откровенен в общении с советом директоров.

The Wall Street Journal и другие СМИ сообщали, что Суцкевер сосредоточился на том, чтобы ИИ не причинил вреда людям, в то время как другие, включая Альтмана, наоборот, стремились продвигать новые технологии.

Отстранение Альтмана от должности вызвало отставку или угрозы отставки, включая открытое письмо, подписанное практически всеми сотрудниками OpenAI, и возмущение инвесторов, включая Microsoft.

Через неделю Альтман вернулся в компанию, а члены совета директоров, голосовавшие за отстранение Альтмана, были исключены. Суцкевер, проголосовавший за отстранение, остался в штате, но уже не в качестве члена совета директоров, а Адам Д’Анджело, который также голосовал за отстранение Альтмана, остался в совете директоров.

Ранее OpenAI сообщила о создании комитета по безопасности во главе с руководителями высшего звена после того, как в середине мая был распущен предыдущий надзорный совет. Новый комитет будет отвечать за рекомендации совету OpenAI «критически важных решений по безопасности и защите проектов и операций OpenAI», говорится в сообщении компании.