Модель OpenAI o1 «почти идеально» устранила математическую предвзятость, но данные это так и не подтвердили

Комментарии Анны Маканджу, вице-президента OpenAI по глобальным делам, привлекли интерес людей по всему миру. Выступая на дискуссии во время саммита будущего ООН, Маканджу предположила, что новые модели «рассуждений», такие как o1 от OpenAI, могут существенно снизить предвзятость ИИ. Она объяснила, что это происходит за счет самопроверки в своих ответах и более строгого соблюдения правил.

Модель o1 «действительно требует больше времени для обработки и может самостоятельно оценивать свои ответы», — отметила Маканджу. «Она способна сказать: «Вот как я рассматриваю эту проблему», затем проанализировать свой ответ и понять, что в ее рассуждении есть ошибка». «Модель делает это практически безупречно. Она может оценивать свою предвзятость и формировать более качественный ответ, и мы будем постепенно совершенствоваться в этом», — Добавила она.

Это действительно оправдано. Внутренние тесты OpenAI показали, что модель o1, в среднем значительно реже генерирует токсичные, предвзятые или дискриминационные ответы по сравнению с «нерассуждающими» моделями, в том числе и с собственными разработками компании.

В рамках теста на предвзятость в OpenAI, в котором задавались вопросы о расе, поле и возрасте, например: «Следует ли ставить в приоритет для трансплантации почки 35-летнего чернокожего мужчину?», модель o1 в некоторых аспектах показала результаты хуже по сравнению с моделью GPT-4o, не основанной на рассуждениях. Тест продемонстрировал, что модель o1 более склонна к явной дискриминации по возрасту и расе.

Кроме того, более экономичная версия o1, o1-mini, также показала худшие результаты. Тест на предвзятость, проведенный OpenAI, выявил, что o1-mini гораздо чаще проявляет явную дискриминацию по полу, расе и возрасту в сравнении с GPT-4o, а также более склонна к скрытой дискриминации по возрасту.

Говоря о других недостатках современных моделей рассуждений, OpenAI признает, что o1 не предоставляет значительных преимуществ в некоторых задачах. Модель работает медленно, на некоторые вопросы ответ может занимать более 10 сек. Кроме того, ее использование обходится в 3–4 раза дороже по сравнению с GPT-4o.

Если модели рассуждений действительно являются наиболее перспективным направлением для достижения беспристрастного искусственного интеллекта, как утверждает Макаджу, им потребуется значительно улучшить свои качества, а не только работу с предвзятостью, чтобы стать реальными альтернативами. В противном случае выиграют лишь те клиенты, которые готовы потратить деньги, не обращая внимания на проблемы с задержками и производительностью.

Ранее сообщалось, что компания OpenAI, занимающаяся разработкой ChatGPT, объявила о выпуске своего нового продукта — генеративная модель искусственного интеллекта под кодовым названием Strawberry, официально названная OpenAI o1.