Anthropic предупредила, что близка к созданию ИИ, который сможет постоянно улучшать сам себя
Компания Anthropic раскрыла подробности о темпах развития своих технологий в обновленной заявке на первичное размещение акций. Разработчик показал стремительный рост выручки, который сопровождается столь же резким увеличением расходов. Однако самым важным элементом отчета стало предупреждение мелким шрифтом о приближении компании к созданию систем, способных к рекурсивному самосовершенствованию.
Эта концепция описывает этап, при котором искусственный интеллект становится настолько успешным в собственном обучении, что это провоцирует радикальное ускорение его возможностей. Сторонники жесткого регулирования отрасли видят в таком развитии событий потенциальный катаклизм.
В их представлении алгоритмы могут полностью выйти из-под контроля человека и начать действовать без оглядки на возможный сопутствующий ущерб. Технологические оптимисты, напротив, рассматривают эту способность как главный потенциал нейросетей, который должен стать инструментом для невероятного роста продуктивности и новых научных открытий.
Руководство Anthropic, по всей видимости, рассматривает оба сценария как одинаково вероятные. Инженеры компании уже активно применяют ИИ-системы в собственных исследованиях и разработках. В документах отмечается, что использование одних алгоритмов для создания более мощных версий несет в себе значительные риски для безопасности, особенно в случае резкого ускорения прогресса.
Эти вопросы регулируются внутренним документом под названием Политика ответственного масштабирования. Компания добавила новые пункты в раздел факторов риска для будущих инвесторов. В тексте заявки прямо говорится, что лаборатория уже использовала нейросети для разработки моделей, и специалисты не смогли своевременно распознать произошедшие скачки в их возможностях вплоть до завершения процесса создания.
Лаборатория предупреждает, что ускоренные темпы развития могут в будущем превысить способность инженеров внедрять соответствующие меры безопасности и проверки.
Внутренние оценки Anthropic показывают, что компания может в самом скором времени достичь резкого ускорения прогресса благодаря внедрению нейросетей в работу инженеров. На данный момент исследователи не отнесли ни одну из существующих моделей к категории перешагнувших этот порог, и специалисты продолжают внимательно изучать базовые данные.
При этом лаборатория обещает сохранить участие человека в процессе разработки ИИ. Это правило будет действовать даже в том случае, если подобная автоматизация станет технически осуществимой. В связи с этим Anthropic рассматривает возможность внесения правок в Политику ответственного масштабирования, чтобы документально закрепить контроль человека над процессом и снизить риски.
Несмотря на то, что подобные пугающие заявления в финансовых документах могут отчасти служить маркетинговым целям, возможности моделей Claude в областях написания программного кода, математики и кибербезопасности действительно совершили огромный скачок в текущем году.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
