Microsoft опубликовала кодекс поведения ИИ: моделям запретили кибератаки и обман пользователей
Microsoft представила новый документ — кодекс поведения ИИ, который определяет ценности и жесткие ограничения для моделей компании при обучении. Документ носит более технический характер, чем недавнее заявление главы Anthropic Дарио Амодеи о необходимости замедлить темпы развития систем ИИ, и описывает конкретные принципы, встроенные в тренировку моделей линейки MAI.
Документ открывается прогнозом о том, что в течение ближайшего десятилетия сверхразумные системы ИИ превзойдут человека в большинстве задач. Авторы указывают, что контроль над такой мощной технологией входит в число крупнейших вызовов, стоящих перед человечеством, и требует ясного понимания целей ее создания.
Кодекс закрепляет общие принципы — модели должны дополнять человека, а не заменять его, и способствовать благополучию людей, — а также перечень конкретных ограничений для их реализации на практике. Согласно документу, общий кодекс поведения имеет приоритет над предпочтениями отдельных пользователей и над задачами конкретных сценариев использования.
Среди «абсолютных ограничений» — запрет на содействие кибератакам, разработке ядерного оружия и созданию дипфейков, а также более широкие положения против утраты контроля человека над системой.
В документе отдельно оговаривается, что модели MAI не должны использовать адаптивные, обманные, самоусиливающиеся или основанные на сговоре механизмы для обхода контроля со стороны человека — иными словами, они должны оставаться управляемыми, изменяемыми и отключаемыми уполномоченными лицами и системами.
Публикация кодекса совпала с периодом повышенного внимания индустрии к безопасности ИИ. Поводом стали серия инцидентов с автономными агентами, вышедшими за пределы заданных сценариев, а также резонансная отставка сотрудника Anthropic, объяснившего свое решение растущим риском того, что развитие ИИ приведет к катастрофическим последствиям для человечества.
Microsoft вместе с Anthropic, OpenAI и xAI придерживается общего подхода к постепенному наращиванию возможностей моделей и поддерживает идею независимых наблюдателей, встроенных в процесс разработки в лабораториях ИИ.
Глава Microsoft Сатья Наделла заявил, что компания поддерживает исследования, фокус на безопасности и осознанное замедление темпов, необходимые для того, чтобы согласование целей ИИ-систем с человеческими ценностями стало частью самого процесса проектирования. Он также отметил поддержку концепции независимых оценщиков и усилий по превращению деклараций о безопасности в работающие механизмы контроля.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
