Новый диагноз для ИИ — почему нейросети не могут отличить факты от вымысла
Ученый Растям Алиев из НИУ ВШЭ в Санкт-Петербурге поставил искусственному интеллекту неожиданный диагноз. Его исследование, опубликованное в журнале «Логос», предлагает взглянуть на известную проблему «галлюцинаций» ИИ — его склонность выдумывать факты — не как на баг, а как на симптом.
Мы привыкли представлять ИИ как бесчувственного и предельно логичного робота, похожего на персонажа с расстройством аутистического спектра. Однако, как отмечает Алиев, реальность оказалась иной.
Нейросети отлично улавливают эмоциональные оттенки в тексте и порождают нечто, очень напоминающее человеческие когнитивные искажения. Ученый проводит смелую параллель: если попросить языковую модель отвечать в стиле человека с шизофренией, ее точность и внимание к деталям будто бы возрастают.
Проблема обостряется со сложными запросами. Не найдя готового ответа в данных, нейросеть не признается в незнании. Вместо этого она комбинирует обрывки реальной информации с собственной «фантазией», создавая убедительные, но абсолютно вымышленные конструкции.
Этот феномен Алиев называет «метасимулякром» — псевдореальностью, которую алгоритмы не только отражают, но и активно формируют. Сгенерированные изображения несуществующих людей или искаженные до неузнаваемости знакомые места — яркий пример такой новой «цифровой действительности».
Самая опасная черта «больного» ИИ — его непоколебимая уверенность. Большие языковые модели никогда не сомневаются в своих ответах, даже когда они полностью оторваны от реальности. А когда пользователь указывает на ошибку, нейросеть не исправляется, а начинает подкреплять свой вымысел новыми, столь же правдоподобными галлюцинациями, углубляясь в бред.
Ученый предостерегает: несмотря на то, что ИИ проникает во все сферы — от психологической поддержки до замены сотрудников — полностью доверять ему нельзя, помня что цифровой собеседник тяжело «болен».
В перспективе создание «здорового», лишенного галлюцинаций ИИ возможно. Но путь к этому лежит не через инженерные патчи, а через глубокое междисциплинарное понимание этой «цифровой психики». Пока же нам приходится иметь дело с гениальным, но склонным к вымыслам партнером, чью блестящую логику всегда нужно подвергать трезвой проверке.
