Научный репозиторий arXiv начал бороться с ИИ-галлюцинациями
Научный репозиторий arXiv ужесточает правила для авторов, использующих ИИ при написании исследований. Платформа начала вводить годовые блокировки за статьи с выдуманными ссылками, галлюцинациями больших языковых моделей (LLM) и другими признаками неконтролируемой генерации текста.
ArXiv давно считается одной из главных площадок для публикации предварительных научных исследований — особенно в сферах машинного обучения, физики и анализа данных. Однако с ростом популярности генеративного ИИ на платформе стало появляться все больше низкокачественных публикаций с ошибками, выдуманными ссылками и явными следами автоматической генерации текста.
Председатель секции компьютерных наук Томас Дитерих заявил, что если авторы не проверяют результаты работы больших языковых моделей, доверие к такой статье фактически исчезает. По его словам, в этом случае надежность всей работы оказывается под вопросом.
Под «явными доказательствами» в arXiv понимают, например, вымышленные научные ссылки, типичные ошибки генеративного ИИ, а также случайно оставленные в тексте запросы к языковой модели или комментарии вроде «перепиши абзац». В таких случаях авторам может грозить годовой запрет на публикации в arXiv. После блокировки размещать новые статьи они смогут только в том случае, если работа уже прошла рецензирование и принята научным журналом.
При этом полного запрета на использование искусственного интеллекта в академической среде вводить не собираются. По словам Дитериха, исследователи могут использовать большие языковые модели при подготовке статей, однако ответственность за итоговое содержание работы в любом случае остается на авторах.
В arXiv отдельно подчеркнули, что использование систем искусственного интеллекта не освобождает ученых от ответственности за «неподобающий язык, плагиат, предвзятое содержание, ошибки, неточности, некорректные ссылки или вводящий в заблуждение контент».
По данным издания 404 Media, новая система будет работать по принципу «одного предупреждения». Сначала проблему фиксируют модераторы, после чего материалы проверяют председатели научных секций. Авторы при этом смогут обжаловать решение.
Ужесточение правил происходит на фоне растущей обеспокоенности научного сообщества влиянием больших языковых моделей на академические публикации. Недавние исследования, опубликованные в рецензируемых журналах, показали увеличение числа сфабрикованных ссылок в биомедицинских работах. Эксперты связывают это с использованием генеративного ИИ при подготовке научных текстов.
Ситуация с arXiv отражает более широкую проблему доверия к научным публикациям в эпоху генеративного ИИ. Все больше исследований готовится с помощью языковых моделей и автоматической генерации текста, из-за чего привычные механизмы научной проверки начинают меняться прямо на ходу.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
