Хотят уничтожить мир? OpenAI выяснила, почему передовые ИИ-модели все чаще скрывают свои рассуждения от людей
Исследователи OpenAI изучили изменения в процессе обучения моделей от GPT-5 до GPT-6 Astra и выяснили, что современные системы все чаще способны решать сложные задачи без подробной записи промежуточных шагов. Причем снижение прозрачности связано не только с ростом возможностей ИИ, но и с архитектурными решениями, методами обучения и стремлением сократить вычислительные затраты.
Для контроля над ИИ разработчики используют так называемые цепочки рассуждений, или Chain-of-Thought. Перед формированием ответа модель может записывать промежуточные вычисления, предположения и планы действий. Анализ этих записей помогает обнаруживать попытки обмана, обхода ограничений и выполнения нежелательных задач. Однако исследователи давно предупреждают, что подобные тексты не всегда содержат полную информацию о процессе решения.
OpenAI выделила четыре фактора, которые влияют на прозрачность рассуждений.
- Первый связан с предварительным обучением: чем точнее нейросеть предсказывает текст, тем больше операций она способна выполнять без промежуточных записей.
- Второй касается архитектуры. В экспериментах с тремя вариантами моделей одна из архитектур значительно лучше справлялась с многоэтапными вычислениями и планированием без видимой цепочки рассуждений. При этом на обычных тестах знаний различия между архитектурами были значительно меньше.
- Третий фактор связан с обучением с подкреплением, когда модель получает оценку за качество выполненной задачи. Исследователи обнаружили, что по мере такого обучения нейросети становятся лучше в управлении собственными текстовыми рассуждениями.
- Четвертым фактором стала передача особенностей поведения между поколениями моделей. OpenAI обучила две одинаковые базовые системы на ответах разных нейросетей-наставников. Их общие возможности были сопоставимыми, но способность управлять цепочками рассуждений различалась. После дополнительного обучения модели-ученики унаследовали эту разницу.
Анализ цепочек рассуждений напрямую связан с безопасностью автономных ИИ-агентов. Если система способна выполнять вычисления без текстовых объяснений, наблюдатель может пропустить часть ее планов.
Однако авторы исследования подчеркивают, что способность менять цепочку рассуждений еще не доказывает намеренного обмана. В отдельных испытаниях модели с более высоким контролем над своими записями не демонстрировали большей успешности при попытках обойти мониторинг. Поэтому исследователи рассматривают выявленные свойства как косвенные показатели риска.
Проблема осложняется экономикой ИИ. В предыдущих исследованиях OpenAI выяснила, что относительно небольшая модель с длинной цепочкой рассуждений иногда способна достичь результатов более мощной системы с короткими промежуточными записями. При этом первый вариант проще контролировать, но он требует больше вычислительных ресурсов. Для компаний, которые обрабатывают миллионы запросов, увеличение длины рассуждений может увеличить расходы и время на выполнение задач.
Исследователи считают, что дальнейшее повышение возможностей моделей потребует новых способов контроля. Проверка текстовых рассуждений должна дополняться анализом действий, результатов и внутренних процессов нейросетей.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
