Разобраться • 29 января 2021
Алгоритм GPT-3 от компании OpenAI умеет писать почти неотличимые от созданных человеком тексты. Что это значит для будущего человечества?
Алгоритм GPT-3 от компании OpenAI умеет писать почти неотличимые от созданных человеком тексты. Что это значит для будущего человечества?
Текст: Сергей Жучков, основатель ProgKids
Кадр: из фильма «Из машины» (Ex Machina, 2014)
В конце 1940-х годов математику Ричарду Хаммингу, который работал в Лос-Аламосе, приходилось убеждать начальство в необходимости покупки компьютеров. Он буквально проявлял чудеса изобретательности для этого. Например, шантажировал коллег, что перестанет помогать им с расчётами, если они не будут включать в соавторы своих исследований программистов. Когда накопилось значительное количество соавторов-программистов, он предъявил начальству перечень статей со словами: «Вот видите, насколько это полезно».
Хамминг — один из немногих, кто находился в эпицентре новой индустрии. В 1950-х годах 9 из 10 исследований проводились в лабораториях, и только одно — с применением компьютера. Хамминг предсказал, что в будущем будет наоборот: 9 из 10 будет проводиться на компьютерах. И это действительно произошло, причём гораздо быстрее, чем он предполагал.
На что способен алгоритм GPT-3
Пример с развитием компьютеров показывает, как легко недооценить важность происходящего в лабораториях и головах исследователей. Лучшие умы того времени были настолько погружены в существующую реальность, что их приходилось буквально силой заставлять заглянуть в будущее.
Сегодня мы видим, как искусственный интеллект проникает в нашу жизнь. Когда вы разговариваете со своими часами или колонкой «Алиса» — вы разговариваете с ИИ. Когда разблокируете телефон при помощи FaceID или заказываете такси — снова взаимодействуете с ИИ.
Пока большинство сценариев взаимодействия выглядят так: активное действие человека — ответ ИИ. Лишь пару лет назад мы встретились с активными роботами. Вы могли познакомиться с ними, когда раздавался звонок телефона и хорошо поставленный голос предлагал что-нибудь купить. Такие роботы работали эффектно, но имели существенный недостаток. Они были не слишком умны. Вы могли понять, что говорите с неживым творением: оно в точности повторяло фразы и не всегда понимало вопросы.
Но похоже, мы станем свидетелями нового этапа, когда ИИ начнёт активно инициировать взаимодействие не только с отдельно взятым человеком, но и с целыми группами людей. И это становится возможным благодаря технологии GPT-3 — алгоритму компании OpenAI.
Главная фишка алгоритма — генерация текста. Модель фантастически хорошо умеет писать тексты, похожие на написанные человеком. Издание Guardian даже опубликовало статью, полностью написанную этим алгоритмом.
Основы того, что в 2020 году стало GPT-3, заложил ещё в середине XX века создатель теории информации Клод Шеннон. Он показал, что язык человека избыточен и что появление слов в тексте и речи можно предсказать.
Шеннон брал книгу, находил произвольное слово на странице и записывал его в тетрадь. Затем он запоминал слово, следующее за записанным, и находил его на другой странице. После чего записывал слово, следующее после только что найденного. Получался вполне связный текст, который мог бы написать человек.
GPT-3 и его аналоги действуют похожим, но, конечно же, гораздо более сложным образом. По сути, алгоритмы генерируют набор случайных предложений, которые очень похожи на настоящую речь.
Прогресс не для всех
OpenAI выпустила GPT-3 летом 2020 года. Сначала компания давала доступ ограниченному числу компаний и пользователей, поэтому всю мощь могли оценить только продвинутые инженеры в области ИИ. В OpenAI опасались, что создали инструмент для промышленного производства фейковых новостей. Например, в пресс-релизе по поводу выпуска предыдущей версии алгоритма GPT2 компания выразила обеспокоенность тем, что алгоритм могут использовать для пропаганды превосходства белой расы.
Технологическая тусовка стала возмущаться закрытостью компании. Ситуацию усугубила сделка OpenAI c Microsoft, по условиям которой IT-гигант получил эксклюзивный доступ к исходному коду алгоритма в обмен на инвестиции в размере $1 млрд. Когда об эксклюзиве стало известно, с критикой выступили серьёзные издания о технологиях, а в интернете стали шутить, что компанию нужно переименовать в CloseAI. Даже сооснователь OpenAI Илон Маск не выдержал и осудил закрытие доступа и передачу эксклюзива.
Если решение не давать широкий доступ всем желающим, похоже, продиктовано этическими соображениями, то эксклюзив для Microsoft — исключительно коммерческое решение.
Изначально Илон Маск, экс-глава Y Combinator Сэм Альтман и другие инвесторы вложили в OpenAI $1 млрд. Большая сумма для всего мира, но не для Кремниевой Долины с её ценами на недвижимость и зарплатами. Поэтому, возможно, у OpenAI банально кончились деньги. И естественный рефлекс СЕО в таком случае — спасти компанию. Так что предложение от Microsoft пришлось как раз вовремя.
Можно примерно прикинуть, сколько компания платит сотрудникам, изучив опыт схожих компаний. The New York Times в 2016 году писала, что OpenAI потратила $11 млн за год, из которых $7 млн — на зарплаты. В то же время, по данным издания, другая ИИ-компания из 400 человек DeepMind тратила почти $140 млн в год на зарплаты (или почти $350 тыс. на человека). А Forbes подсчитал, что в 2018 году DeepMind потратила на зарплаты $483 млн. Учитывая, что зарплаты в Долине только растут, а на конец 2020 года в OpenAI работало 120 человек, расходы компании только на зарплаты должны были составить несколько сотен миллионов долларов за 5 лет существования.
OpenAI создал страшно дорогую машинку, которая весьма эффективно может притворяться человеком. Но до коммерческого использования самых передовых технологий пока далеко. Это показывает драматичная судьба основанной в 2012 году компании DeepMind: она создала алгоритм, который победил человека в настольную игру Го и, казалось, совершит революцию в ИИ. При этом компания была в глубоком убытке.
В 2014 году её за $650 млн купила Google. Так и не найдя коммерческого применения таким продвинутым вещам, как Го и шахматы, компания потихоньку растворилась внутри корпорации. Сейчас её наработки применяются в коммерции, например для синтеза речи или оптимизации показов рекламы.
Первые паровые машины тоже имели всего лишь трёхпроцентный КПД — но им не требовалось столько машинистов с зарплатами под $1 млн в год. Тогда зачем всё это?
Когда появится искусственный мозг
Первоначальная идея OpenAI заключалась в том, чтобы создать общий искусственный интеллект (ОИИ), и пока компания не отказывалась от неё.
Известно, что скорость создания информации человечеством постоянно растёт. ОИИ сможет извлекать знания из информации и не только давать ответы на любые вопросы, но и задавать вопросы самому себе, искать ответы на них — и в итоге создавать новые знания, которые смогут использовать люди.
Если рассматривать появление GPT-3 как шаг на пути человечества к ОИИ, то насколько велик этот шаг и сколько ещё осталось ждать?
Один из способов оценить объём задачи — подсчитать количество синапсов (связей между нейронами) в мозге человека. Профессор MIT Сонг Хан говорит о 400 трлн синапсов в мозге взрослого человека. Исследователь Лекс Фридман приводит другую цифру — 100 трлн.
Внутри GPT-3 175 млрд параметров. Параметр нейронной сети — это количество связей между узлами нейронной сети. Грубо говоря, параметр искусственной нейронной сети примерно соответствует синапсу мозга.
Тогда можно попробовать оценить, сколько нужно средств, чтобы приблизиться к искусственному мозгу. Из расчётов Лекса Фридмана следует, что с технологиями того уровня, который есть сегодня, стоимость создания модели мозга с использованием GPT-3 составит $2,6 млрд.
В мае 2020 года была опубликована работа, которая показала, что эффективность расчета нейронных сетей в 2012—2019 гг. удваивалась каждые 16 месяцев. Опираясь на эту оценку, Фридман показал, что уже в 2032 году рассчитать модель, которая сможет писать тексты, неотличимые от написанных человеком, можно будет всего за $5 млн.
То есть что-то похожее на цифровую модель мозга появится примерно через 10 лет.
С одной стороны, на эту оценку нужно смотреть со здоровым скептицизмом и при этом помнить, что знаменитый закон Мура изначально был просто предсказанием. А придумали его тогда, когда в интегральной микросхеме было только 64 транзистора и произошло всего лишь 6 удвоений производительности. В итоге оказалось, что он верой и правдой служил человечеству больше 40 лет.
С другой стороны, прогресс может идти ещё быстрее. В новейшей модели Google Switch Transformers в 10 раз больше параметров, чем в GPT-3, она почти в 10 раз быстрее и требует в разы меньше вычислительных ресурсов.
Ускорить появление ОИИ также может появление квантового компьютера общего назначения. Пока существующие квантовые компьютеры очень большие и почти бесполезные: у них совсем небольшое количество ячеек памяти (кубитов), при помощи которых производятся вычисления. Однако IBM прогнозирует, что уже в 2023 году число кубитов увеличится на три порядка, что позволит создавать принципиально новые алгоритмы и многократно ускорять решение многих задач — в том числе задач ИИ.
Картина будущего
Пока OpenAI и другие исследователи ИИ создают машинки, которые генерируют новую информацию, но не знания. То есть проблема переизбытка информации скорее усугубляется, а не решается. Огромное количество текстов в интернете создаётся с единственной целью — привлечь трафик. Чем больше текстов на сайте — тем выше сайт в поисковой выдаче. Поэтому мы видим такое количество страниц в результатах поиска: сайты соревнуются между собой, создавая новый и новый контент только для того, чтобы его заметил поисковый робот.
Существующая сегодня экономическая модель интернета поощряет создание контента, который потребляют только машины. Не за горами время, когда машины будут создавать контент. Алгоритмы типа GPT-3 будут писать тексты сколь угодно большого объёма, например книги и сценарии фильмов, а алгоритмы генерации изображений позволят снимать их без актеров.
Не очень-то обнадеживающая картина будущего: люди потребляют информацию, созданную машинами специально для них, с единственной целью — потребить ещё информацию.
Но я верю, что человечество мудрее, чем представляется сейчас. Люди поколениями балансировали на грани, но каждый раз находили выход из тупика, который создавали своими же руками.
Одна из задач, которую предстоит решить, — создание автоматизированных систем, работающих в обратном направлении. То есть не путём выявления паттернов сочетания слов и предложений, а извлекая смысл из текста. Такие модели позволят конвертировать информацию в знания, отфильтровывать лишнее и доносить до человека только самое важное.
По этому пути идёт не очень много людей, в первую очередь потому, что пока не придумана модель монетизации. Но есть технологии, которые позволяют работать с информацией принципиально иначе. Например, exploratory search или «разведочный поиск»: уже существует техническая реализация, которая позволяет автоматически создать карту предметной области, дать основные понятия, предоставить сжатую информацию об истории области и ссылки на дополнительные материалы, рассортированные по времени появления. Доступного для всех продукта пока нет — но исходный код есть на GitHub.
