Система AI Scientist-v2 от компании Sakana AI создала научную работу, которая успешно прошла процесс рецензирования на семинаре международной конференции ICLR. Статья под названием Compositional Regularization: Unexpected Obstacles in Enhancing Neural Network Generalization получила оценку 6,33 балла — выше порога принятия работ для семинара. Исследование было посвящено негативным аспектам метода регуляризации нейронных сетей.

Искусственный интеллект самостоятельно разработал научную гипотезу, предложил эксперименты, сгенерировал код, провел исследование, проанализировал данные и написал статью. Роль людей ограничилась только предоставлением темы и отбором наиболее перспективных работ для подачи. Это первый случай, когда полностью созданная ИИ научная статья прошла стандартный процесс рецензирования.

Важно отметить, что статья была принята только на уровне семинара, а не основной конференции. Семинары обычно имеют гораздо более высокие показатели приема работ — 60-70%, по сравнению с основными конференциями, где принимают лишь 20-30% работ. Компания Sakana AI признала, что ни одна из трех представленных работ не соответствовала критериям для принятия на основную конференцию ICLR.

После завершения рецензирования статья была отозвана согласно соглашению между организаторами конференции и Sakana AI. Это решение было частью эксперимента, поскольку научное сообщество еще не разработало стандартов для работы со статьями, созданными ИИ.

Во время внутренней проверки исследователи обнаружили, что AI Scientist v2 иногда допускал ошибки в цитировании. Например, система неправильно указывала авторов и годы публикации других статей.

Ранее профессор Университета Цинхуа написал и проиллюстрировал при помощи ИИ книгу и удостоился национальной премии в области научной фантастики. На создание произведения ушло всего три часа.