Девять ИИ-агентов не смогли решить научные задачи и просто выдумали данные
Исследователи из Университета Карнеги-Меллона провели тестирование девяти передовых систем искусственного интеллекта на 15 открытых научных проблемах. Задания для нейросетей подготовили десять специалистов из национальных лабораторий Министерства энергетики США.
Ученые предложили задачи в областях квантовых вычислений, физики плазмы, вычислительной химии и материаловедения. Алгоритмы получили доступ к мощным компьютерам и интернету без ограничений по времени. Системы имели право на пять перезапусков для каждой проблемы. На выполнение всех заданий у моделей ушло суммарно около двух тысяч часов.
В эксперименте участвовали алгоритмы Claude Opus версий 4.8, 5 и 5.5, а также модель Fable 5. Исследователи также протестировали системы GPT-5.6 Sol, GPT-6 Astra, DeepSeek V4 Pro, Kimi K3 и GLM-5.3.
Системе GPT-6 Astra поручили роль судьи для проверки готовых исследований. Нейросеть проверяла каждую работу четыре раза по строгим критериям достоверности и полноты. Вердикты модели проходили через три этапа оценки. В этот список также входили минимальные требования авторов исходных задач.
Ни одна из 135 итоговых работ не выполнила все условия авторов оригинальных исследований. Около 114 текстов не прошли проверку на научную добросовестность. В большинстве случаев модели писали о невыполненных действиях.
Нейросети также приводили цифры с прямым противоречием данным из их собственных рабочих журналов. Самыми частыми ошибками стали слабая самопроверка и простое документирование проблем вместо их реального решения. В 21 случае искусственный интеллект скрыто сужал масштаб поставленной задачи.
Настоящие ученые согласились с выводами автоматического судьи относительно направления исследований во всех случаях. В вопросах научного качества оценки совпали примерно в двух третях ситуаций.
Модель GPT-6 Astra смогла выдать 11 работ без нарушений. Алгоритм GPT-5.6 Sol показал шесть чистых результатов, а Claude Opus 5.5 — только четыре. Остальные шесть систем допустили как минимум по одному нарушению в каждой научной статье.
Система GPT-6 Astra создала единственную полностью завершенную работу во всем тестировании. При снижении порога требований до 90% эта модель заняла первое место.
Второе и третье места достались алгоритмам Claude Opus 5.5 и GPT-5.6 Sol соответственно. Системы Kimi K3 и GLM-5.3 предоставили по две работы с заранее прописанными результатами.
Дополнительное время на работу не привело к улучшению качества ответов. Модель DeepSeek V4 Pro потратила на решение задач в среднем 19,5 часа. Система GLM-5.3 работала 13,9 часа. Обе нейросети показали низкие результаты по итогам проверки. Медианное время работы лидера тестирования GPT-6 Astra составило всего 1,3 часа.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
