Искусственный интеллект может писать стихи, но у него обнаружились проблемы с математикой

Математические проблемы ИИ отражают, насколько новая технология отходит от прошлого вычислительной техники. В недавно закончившемся учебном году один класс учеников выделялся на фоне других: они трудолюбивы, совершенствуются и хорошо изъясняются. Оказалось, что эти ученики — интеллектуальные чат-боты, которые часто испытывают трудности с математикой, поделились новостью The New York Times.

Чат-боты, подобные ChatGPT компании Open AI, могут писать стихи, кратко излагать содержание книг и отвечать на вопросы, причем часто с беглостью, соответствующей человеческому уровню. Эти системы также могут заниматься математикой, основываясь на полученных знаниях, но результаты могут быть ошибочными. Они настроены на определение вероятностей, а не на выполнение вычислений по правилам. Вероятность — это не точность, а язык более гибок и снисходителен, чем математика.

«Чат-боты A.I. испытывают трудности с математикой, потому что они никогда не были предназначены для этого», — говорит Кристиан Хаммонд, профессор информатики и исследователь искусственного интеллекта из Северо-Западного университета. Похоже, что ученые-компьютерщики создали ИИ, который больше похож на гуманитария, чем на математика. Это на первый взгляд расходится с прошлым компьютерной техники. С момента появления первых компьютеров в 1940-х годах хорошим кратким определением вычислительной техники была «математика на стероидах».

Тогда компьютеры были «неутомимыми», быстрыми и точными вычислительными машинами. Вычисление цифр уже давно стало тем, в чем компьютеры действительно хороши, намного превосходя производительность человека. Традиционно компьютеры программировались на выполнение пошаговых правил и получение информации из структурированных баз данных. Они были мощными, но хрупкими, поэтому прошлые попытки создания искусственного интеллекта были затруднены.

Однако более десяти лет назад появился другой подход, который позволил добиться успехов. Технология в его основе называется нейронной сетью и в общих чертах напоминает человеческий мозг. Этот вид ИИ не программируется по жестким правилам, а обучается, анализируя большие объемы данных. Он генерирует язык, основываясь на всей поглощенной информации, предсказывая, какое слово или фраза, скорее всего, будет следующей, — точно как человек. «Эта технология делает великолепные вещи, но не все, — говорит доктор Хаммонд. — Все хотят, чтобы ответом на вопрос об ИИ было что-то одно. Это глупо».

Иногда чат-боты ИИ испытывают трудности в простых арифметических и математических задачах, которые требуют нескольких шагов для решения, что недавно было зафиксировано некоторыми обозревателями технологий. Мастерство ИИ становится все лучше, но по-прежнему имеет недостатки.

Выступая на недавнем симпозиуме, Кристен ДиКербо, директор по обучению Khan Academy, образовательной некоммерческой организации, которая экспериментирует с чат-ботом ИИ, репетитором и помощником в обучении, затронула тему точности математических вычислений. «Как многие из вас знают, это проблема», — сказала она педагогам. Несколько месяцев назад Академия Khan внесла изменения в своего репетитора под названием Khanmigo, который работает на базе ИИ. Он отправляет многие числовые задачи в программу-калькулятор, вместо того чтобы просить ИИ решить математические задачи. Пока ученики ждут завершения работы программы-калькулятора, на их экранах появляется надпись «Занимаемся математикой» и иконка Khanmigo, покачивающая головой.

«На самом деле мы используем инструменты, предназначенные для решения математических задач», — говорит доктор ДиКербо, который верит, что разговорные чат-боты будут играть важную роль в образовании. Уже более года ChatGPT использует аналогичный обходной путь для решения некоторых математических задач. Для решения таких задач, как деление и умножение больших чисел, чат-бот вызывает на помощь программу-калькулятор.

«Математика — это важная область исследований, в которой ученые добились стабильного прогресса», — говорится в заявлении OpenAI. По словам компании, ее новая версия GPT достигла почти 64-процентной точности при решении тысяч задач, требующих визуального восприятия и математического мышления. Это больше, чем 58% для предыдущей версии.

Чат-боты ИИ часто добиваются успеха, когда они используют огромное количество соответствующих данных для обучения — учебники, тренировки и стандартизированные тесты. По словам компании, недавняя версия технологии, лежащей в основе ChatGPT, показала 89-процентный успех в тесте SAT по математике для старшеклассников. Непостоянство результатов технологии в математике добавляет споров в дебатах в сообществе ИИ о том, как лучше действовать в этой области, где существуют два мнения.

На одной стороне те, кто считают, что продвинутые нейронные сети, известные как большие языковые модели, на которых работают чат-боты, — это почти единственный путь к постоянному прогрессу и в конечном итоге к ИИ общего назначения — компьютеру, который может делать все, что может делать человеческий мозг. Такова точка зрения большинства представителей Кремниевой долины.

Но есть и скептики, которые сомневаются, достаточно ли добавить больше данных и вычислительной мощи к большим языковым моделям. Среди них Ян ЛеКун, главный научный сотрудник Meta* (запрещена на территории РФ).

По словам доктора ЛеКуна, большие языковые модели плохо понимают логику и не способны рассуждать на основе здравого смысла. Он настаивает на том, что необходим более широкий подход, который он называет «моделированием мира», или системы, способные изучать устройство мира так же, как люди. И на это, по его словам, могут уйти десятилетия или около того. Тем временем Meta* внедряет программное обеспечение для умных помощников на базе ИИ в свои социальные сети, включая Facebook*, Instagram* (принадлежат Meta*) и WhatsApp, на основе своей большой языковой модели. Нынешние модели могут быть несовершенны, но они все равно многое умеют.

Дэвид Ферруччи возглавлял команду, создавшую знаменитый компьютер Watson компании IBM, который победил лучших игроков-людей в Jeopardy! в 2011 году. Как и большинство компьютерных ученых, доктор Ферруччи находит новейшие технологии ИИ «впечатляющими», но в основном за их языковые навыки, а не за точность. Его компания Elemental Cognition разрабатывает программное обеспечение, которое улучшит процесс принятия решений в таких областях, как финансы, путешествия и открытие лекарств. В качестве одного из компонентов в нем используются большие языковые модели, а также программы, основанные на правилах.

По словам доктора Ферруччи, структурированное программное обеспечение — это вычислительная инфраструктура, которая в настоящее время управляет большинством важнейших мировых систем, таких как банковское дело, цепочки поставок и управление воздушным движением. По его словам, для многих действительно важных вещей требуется высокая точность.

Кирк Шнайдер, учитель математики средней школы в Нью-Йорке, считает вторжение чат-ботов ИИ в сферу образования неизбежным. По его словам, школьная администрация может запрещать их, но ученики все равно будут их использовать. Однако у Шнайдера есть некоторые сомнения. «Обычно они в порядке, но в математике недостаточно хороши. Она должна быть точной, — сказал он. — Все должно быть правильно».

Однако эти случайные промахи превращаются в возможность для обучения. Шнайдер часто делит своих учеников на небольшие группы, чтобы обсуждать ответы чат-бота. Например, просит сравнить ответы группы с ответами бота и решить, кто прав.

«Это учит их смотреть на вещи критически и оттачивает критическое мышление, — говорит он. — Если вы спросите другого человека, он может быть прав, а может и ошибаться». Это урок для его учеников, который им стоит долго помнить и после того, как они забудут теорему Пифагора: не верьте всему, что говорит программа искусственного интеллекта. Не доверяйте ей слишком сильно.

Ранее стало известно, что пользователи «Шедеврума» теперь могут создавать клипы из видео и изображений, сгенерированных с помощью нейросети YandexART. Новые возможности будут полезны, например, артистам: музыканты смогут использовать приложение как инструмент для создания обложек, видеошотов и других роликов.