Ученые из Стэнфорда: ChatGPT деградирует из-за попыток его улучшить
Разработчики назвали этот феномен «дрейфом». Попытка модернизировать одну из частей сложной модели ИИ приводит к ухудшению работы в других областях.
Чат-бот ChatGPT стал хуже выполнять некоторые элементарные математические операции, сообщает The Wall Street Journal со ссылкой на исследование ученых Стэнфордского университета и Калифорнийского университета в Беркли.
Исследователи протестировали две версии ChatGPT — бесплатную 3.5 и платную 4.0. Они предложили чат-боту определить, является ли выбранное число простым. В основу теста легла выборка из 1 тыс. чисел. GPT-4 продемонстрировал деградацию в шести задачах из восьми, а GPT-3.5 по шести задачам продемонстрировал прогресс.
В марте доступный по премиум-подписке GPT-4 давал правильные ответы в 84% случаев, а к июню доля правильных ответов снизилась до 51%. Этот феномен ученые назвали «дрейфом»: попытка усовершенствовать одну часть сложной модели ИИ влечет за собой ухудшение ее работы в других сферах. Этот фактор усложняет совершенствование нейросетей.
Прочитайте также
Помимо математических задач, исследователи предложили обоим чат-ботам дать ответ на 1,5 тыс. вопросов. В марте GPT-4 отвечал на 98% вопросов, а в июне только на 23%. Зачастую ответы были слишком короткими: ИИ заявлял, что вопрос был субъективным и собственного мнения у него нет.
В марте глава OpenAI Сэм Альтман назвал новую модель GPT «самой способной» ИИ-моделью, которая пусть «по-прежнему с недостатками и ограничена», но «кажется более впечатляющей при первом использовании». Альтман отметил, что новая GPT креативнее предыдущих версий и меньше «галлюцинирует».
