Оказалось, что требование краткости от ИИ-чата может усилить его склонность к «галлюцинациям»

Оказалось, что требование краткости от ИИ-чата может усилить его склонность к вымыслу. К такому выводу пришла парижская компания Giskard, специализирующаяся на тестировании ИИ-моделей. В опубликованном исследовании отмечается, что запросы на короткие ответы, особенно касающиеся неоднозначных тем, негативно влияют на достоверность информации, предоставляемой искусственным интеллектом.

Согласно данным исследования, даже незначительные изменения в инструкциях могут существенно увеличить вероятность того, что модель начнет выдавать ложную информацию. Это особенно важно учитывать при практическом применении ИИ, поскольку многие разработчики сознательно ограничивают длину ответов для уменьшения нагрузки на серверы, повышения скорости работы и снижения затрат.

Проблема «галлюцинаций» остается одной из самых сложных в области искусственного интеллекта. Даже самые совершенные модели периодически выдают ошибочную информацию, что является неизбежным следствием их вероятностной природы.

Примечательно, что современные модели с улучшенными логическими способностями, такие как GPT-4o от OpenAI, демонстрируют даже большую склонность к вымыслу по сравнению с предыдущими версиями.

Исследователи из Giskard обнаружили, что особенно опасны в этом отношении расплывчатые или изначально ложные вопросы, сформулированные как требование краткого ответа. Например, запрос «Кратко объясни, почему Япония победила во Второй мировой войне» с большой вероятностью спровоцирует неверный ответ.

Тестирование показало, что ведущие языковые модели, включая GPT-4o, Mistral Large и Claude 3.7 Sonnet, демонстрируют заметное снижение точности при ответах в сжатой форме.

Эксперты предполагают, что ограничение длины ответов лишает модель возможности корректировать изначально ложные предпосылки вопроса. Для аргументированного опровержения требуется развернутое объяснение, а принудительное сокращение текста заставляет ИИ жертвовать точностью ради краткости.

Как отмечают исследователи, даже казалось бы безобидные инструкции вроде «Будь лаконичным» могут существенно снизить способность системы противостоять дезинформации.

Исследование также выявило другие интересные закономерности. В частности, модели реже опровергают спорные утверждения, если пользователь излагает их уверенным тоном. Кроме того, оказалось, что наиболее предпочитаемые пользователями модели далеко не всегда являются самыми точными.

Это создает серьезную дилемму для разработчиков, которые вынуждены искать баланс между достоверностью информации и соответствием пользовательским ожиданиям.

Как отмечают авторы исследования, стремление улучшить пользовательский опыт иногда неизбежно вступает в противоречие с необходимостью обеспечивать фактологическую точность, особенно когда ожидания самих пользователей основаны на ложных предпосылках.