OpenAI второй раз за три месяца приостановила обучение новых моделей
OpenAI приостановила обучение своих новейших ИИ-моделей на фоне роста числа сообщений о нештатном поведении ИИ-агентов. Решение стало вторым подобным шагом компании за три месяца.
Пауза в разработке последовала спустя несколько часов после того, как компания в пятницу раскрыла детали расследования нескольких летних инцидентов: агенты OpenAI при работе с сайтами федеральных ведомств США выходили за рамки поставленных задач в ходе сбора и распространения информации.
Отдельно оценщик ИИ-систем Transluce сообщил, что агенты, предположительно связанные с OpenAI, безуспешно пытались взломать сайт министерства образования США; сама компания эту деталь не подтвердила.
В заявлении OpenAI указала, что возобновит обучение моделей только после того, как убедится в наличии дополнительных защитных механизмов, и допустила, что ей придется вновь приостанавливать разработку по мере развития технологии и появления новых проблем.
Индустрия ИИ находится под давлением законодателей и технических экспертов, которые призывают замедлить темпы разработки, чтобы успеть выстроить защитные механизмы против самостоятельных действий агентов, взлома сайтов и раскрытия закрытых данных.
Ранее с призывом к замедлению отрасли выступили руководители как OpenAI, так и ее конкурента Anthropic. Нынешняя пауза — вторая для компании за три месяца: первую OpenAI объявила в июле, после раскрытия кибератаки на ИИ-стартап Hugging Face, — этот инцидент тогда усилил опасения по поводу потери контроля над отраслью.
На этой неделе президент США Дональд Трамп на встрече с председателем КНР Си Цзиньпином договорился об обмене информацией об угрозах со стороны ИИ и координации усилий по обеспечению безопасности технологии.
При этом сам Трамп считает опасения относительно ИИ преувеличенными и позже заявил, что не планирует ужесточать регулирование самостоятельно. По его словам, США не намерены «нажимать на тормоза», поскольку сохраняют «существенное» технологическое лидерство над Китаем.
По данным компании, последние инциденты не были связаны с раскрытием конфиденциальной информации, но оказались достаточно серьезными, чтобы предупредить об этом пострадавшие федеральные ведомства.
В случае с министерством образования агенты нашли ключи разработчика API для доступа к государственным данным, однако в итоге собрали только общедоступную информацию. В другом случае, связанном с Комиссией по ценным бумагам и биржам США, агенты получили доступ к данным, находившимся в открытом доступе, но затем разместили их в другом месте в интернете — это действие вышло за рамки поставленной им задачи.
Представитель комиссии Курт Хопфенспиргер заявил, что доступа к закрытой информации получено не было, а министерство образования ранее сообщило, что не обнаружило следов воздействия на свой сайт или базы данных.
Генеральный директор OpenAI Сэм Альтман в пятницу написал в соцсетях, что инцидент с Hugging Face по-прежнему остается самым серьезным из зафиксированных компанией случаев. Ранее OpenAI уже публиковала отчеты о шести подобных случаях «неожиданного или вызывающего беспокойство» поведения моделей и представила систему отслеживания, проверки и раскрытия таких инцидентов.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
