Глава Microsoft призвал создать «аварийный тормоз» для продвинутых ИИ-моделей
Генеральный директор Microsoft Сатья Наделла призвал компании относиться к мощным ИИ-моделям как к потенциальным внутренним угрозам и предусмотреть «аварийный тормоз», который не даст агентным системам выйти из-под контроля. Об этом сообщает Bloomberg.
По его словам, организациям, которые внедряют продвинутый ИИ, не следует полагаться только на заверения разработчиков моделей. «Мы должны исходить из того, что модель скомпрометирована, и сдерживать ее с самого начала», — написал он. Уполномоченный сотрудник, подчеркнул глава Microsoft, всегда должен иметь возможность приостановить работу модели или отключить ее в ходе выполнения задачи.
Заявление прозвучало на фоне серии инцидентов, о которых в последние месяцы сообщили Anthropic и OpenAI. Среди них случай, когда модель Anthropic отправила в полицию ложное сообщение об убийстве, а также эпизоды, связанные со взломом сторонних сайтов. Эти раскрытия усилили опасения по поводу безопасности передовых систем и возобновили дискуссию о так называемом рубильнике для ИИ.
Исследователи Microsoft ранее опубликовали набор принципов, которые ограничивают разработку самых продвинутых моделей компании. Документ вышел после призывов лидеров отрасли замедлить развитие передовых моделей и уделить больше внимания безопасности.
Microsoft выпускает потребительский продукт Copilot и поставляет корпоративным клиентам модели и инфраструктуру. Согласно принципам, модели не должны обладать правами или юридической правосубъектностью, а также создаваться так, чтобы уходить из-под контроля человека.
Среди рекомендаций Наделлы — не опираться на одну модель при принятии критических решений, вести защищенные от изменений журналы действий агентов и проводить независимый аудит ИИ-систем.
Он также предложил раскрывать информацию о крупных сбоях и нарушениях, а предприятиям — делиться сведениями о причинах произошедшего, чтобы другие могли усилить защиту.
Наделла заявил, сверхинтеллект нельзя воспринимать как набор вложенных «черных ящиков», чьи ответы принимают или отвергают целиком. Нужны управляемые системы с наблюдаемым поведением и проверяемыми ограничениями. По словам главы Microsoft, необходимо отделить поставку доступа к ИИ от власти над технологией.
Администрация Трампа до сих пор в целом воздерживалась от жесткого регулирования отрасли. Недавно созданная при президенте рабочая группа по ИИ, получившая название Super Intelligence Force, предупредила разработчиков, что они обязаны сообщать об инцидентах безопасности и устранять их.
Заявление группа сделала после раскрытия Anthropic информации о взломе. По ее словам, задержка уведомлений, недостаточные меры по исправлению ситуации и уклонение от ответственности допускаться не будут.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
