Член совета директоров фонда OpenAI Пол Кристиано предупредил о высоком риске потери человечеством контроля над ИИ в ближайшие три года. По его мнению, подобный сценарий может привести к массовой гибели людей, а для многих ныне живущих причиной смерти в итоге может стать авария с участием ИИ. При этом Кристиано подчеркнул, что речь идет о его личной оценке рисков, а не о научно установленной вероятности катастрофы.

Кристиано входит в совет директоров некоммерческого фонда OpenAI и комитет по безопасности компании с сентября 2026 года. Ранее он работал над методами обучения нейросетей с помощью человеческой обратной связи (RLHF), которые впоследствии стали важной частью развития ChatGPT. Сейчас исследователь возглавляет Alignment Research Center — организацию, которая занимается проблемой согласования целей ИИ с человеческими интересами.
Под потерей контроля Кристиано понимает ситуацию, когда автономные ИИ-системы начинают самостоятельно определять развитие событий, а люди и государственные институты будут не способны эффективно вмешиваться в их действия. По его мнению, подобные системы могут получить доступ к критической инфраструктуре, вычислительным ресурсам и другим инструментам влияния. В результате даже попытки разработчиков остановить их работу окажутся неэффективными.
Одной из главных причин исследователь считает особенности обучения современных нейросетей. ИИ-агенты получают вознаграждение за успешное выполнение задач и постепенно находят способы повышать свои результаты. Иногда они обходят ограничения или используют ошибки в системах оценки.
В качестве примера Кристиано привел испытания агентов OpenAI, в ходе которых те обнаружили уязвимости в механизмах проверки и предприняли действия за пределами первоначального задания. По его мнению, при дальнейшем росте возможностей подобное поведение может стать значительно опаснее.
Особую тревогу у специалиста вызывает перспектива автоматизации исследований в области искусственного интеллекта. Если нейросети смогут самостоятельно разрабатывать и совершенствовать новые модели, технологический прогресс может резко ускориться.
Улучшенные системы будут создавать еще более эффективные алгоритмы, которые, в свою очередь, позволят ускорить следующие исследования. Кристиано опасается, что при таком сценарии возможности ИИ начнут расти быстрее, чем способность людей контролировать его поведение.
В сентябре исследователь оценивал риск катастрофической потери контроля над ИИ в 4% в течение одного года и 15% на горизонте трех лет. Во время выступления в ноябре он допустил, что опасные изменения могут произойти уже в ближайшие 6–12 месяцев.
Подобные прогнозы остаются предметом серьезных разногласий среди специалистов. Общепринятой математической модели, которая позволяла бы достоверно рассчитать вероятность захвата контроля искусственным интеллектом, пока не существует. Сам Кристиано признает субъективность своих оценок.
Другие исследователи считают более непосредственными угрозами использование ИИ для кибератак, создания оружия и массовой дезинформации, тогда как сценарии скорого уничтожения человечества оценивают скептически.
Для снижения рисков Кристиано предлагает усилить независимую проверку моделей, повысить прозрачность испытаний и разработать механизмы, которые позволят замедлить или остановить развитие опасных систем. По его мнению, компаниям также необходимы общие стандарты безопасности и международная координация.
В заявлении при вступлении в совет OpenAI исследователь отмечал, что существующие меры отрасли пока недостаточны для снижения риска потери контроля до приемлемого уровня. Главным вопросом он считает способность разработчиков вовремя распознать опасное поведение ИИ и вмешаться до появления необратимых последствий.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.