IT как оружие: нужно ли нам защищать свои лица так же, как мы защищаем свои счета
«Возможность собирать огромные объёмы данных о пользователях — это палка о двух концах. С одной стороны, правительства, компании и частные лица получают возможность принимать более эффективные решения. С другой — это вызывает серьёзные вопросы о том, каким именно образом персональные данные должны использоваться, чтобы не нарушить право людей на неприкосновенность частной жизни», — написал Билл Гейтс в предисловии к книге президента Microsoft Брэда Смита. Брэд Смит рассказывает о том, как IT-индустрия изменила наш мир и что должны делать компании, чтобы помочь решить те проблемы, которые они создают. Его книга «IT как оружие. Какие опасности таит в себе развитие высоких технологий» вышла в ноябре в издательстве «Альпина Паблишер». Inc. публикует отрывок с сокращениями.
В фильме Стивена Спилберга 2002 года «Особое мнение» герой Тома Круза заходит в магазин Gap. Там действует технология, которая распознаёт каждого входящего покупателя и сразу начинает демонстрировать на экране одежду, которая предположительно должна понравиться ему. Одним такой уровень обслуживания может понравиться. Другим он может показаться навязчивым и даже неприятным. Короче говоря, посещение магазина начинает напоминать просмотр веб-страниц, после которого социальные сети подсовывают новую рекламу того, чем вы только что интересовались.
В «Особом мнении» Спилберг просил зрителей задуматься о том, что последствия применения технологий двоякие, — с одной стороны, они позволяют предотвращать преступления до того, как они будут осуществлены, а с другой — приводят к нарушению прав людей, когда что-то идёт не так. Система, которая опознаёт Круза в магазине Gap, получает информацию из чипа, вживлённого в его тело. Однако технический прогресс в первые два десятилетия XXI в. превосходит даже воображение Спилберга, поскольку в наши дни чипы уже не требуются. Технология распознавания лиц, опирающаяся на машинное зрение, данные в облаке и ИИ, позволяет идентифицировать покупателей на основе их визита в магазин на прошлой неделе или даже час назад. Она открывает для технологического сектора и правительств одну из первых возможностей ясно и однозначно определиться с подходами к вопросам этики и прав человека в сфере ИИ, приняв решение о том, как следует регулировать распознавание лиц.
То, что начиналось для большинства людей с довольно простых вещей вроде доступа к каталогам и поиску фотографий, быстро стало значительно более сложным. Уже сейчас многие полагаются на распознавание лиц, а не на пароль при разблокировании iPhone или ноутбука на Windows. И прогресс на этом не останавливается. Компьютер умеет сейчас делать то, что все мы, как люди, делаем почти с рождения — распознавать лица людей. Хотя эта способность принципиально важна для повседневной жизни, мы практически не задумываемся о том, что делает ее возможной. На самом деле наши лица так же уникальны, как и отпечатки пальцев. В число характерных черт входят расстояние между зрачками, размер носа, профиль улыбки и овал лица. Когда компьютеры используют фотографии для выделения этих черт и сведения их воедино, они создают основу для математического выражения, которое можно оценивать с помощью алгоритмов.
По всему миру эту технологию внедряют с тем, чтобы сделать нашу жизнь лучше. В некоторых случаях на нее смотрят, как на удобство для потребителей. Национальный банк Австралии разрабатывает на основе технологии распознавания лиц Microsoft систему, позволяющую безопасно снимать деньги в банкомате без предъявления пластиковой карты. Банкомат распознаёт лицо клиента, после чего можно ввести PIN-код и выполнить операцию. В других случаях выгоды от этой технологии более существенны. Например, в Национальном научно-исследовательском институте генома человека в Вашингтоне распознавание лиц помогает врачам диагностировать так называемый синдром Ди Джорджи, или синдром делеции хромосомы 22q11.2. Это заболевание чаще всего поражает жителей Африки, Азии и Латинской Америки. Оно может вызывать ряд серьёзных проблем со здоровьем, включая нарушение функций сердца и почек. При этом его нередко можно диагностировать с помощью компьютерных систем по незначительным изменениям черт лица.
Описанные сценарии показывают, как именно распознавание лиц может использоваться с пользой для общества. Это — новый инструмент XXI в. Как и многие другие инструменты, впрочем, его можно также превратить в оружие. Правительство может использовать распознавание лиц для идентификации тех, кто участвует в мирном митинге, а потом преследовать их и, таким образом, подавлять свободу слова и собраний. Даже в демократическом обществе полиция может чрезмерно полагаться на этот инструмент при идентификации подозреваемых, забывая о том, что распознавание лиц, как и любая другая технология, не всегда работает идеально. По этим причинам распознавание лиц тесно переплетается с более широкими политическими и социальными аспектами и вызывает принципиально важный вопрос: какую роль, с нашей точки зрения, эта форма искусственного интеллекта должна играть в обществе?
Некоторое представление о том, что нас ждет, мы неожиданно получили летом 2018 г. в связи с одной из самых злободневных политических тем того сезона. В июне один из жителей Вирджинии, называвший себя «свободным разработчиком софта», вдруг сильно заинтересовался более широкими политическими вопросами. Он опубликовал ряд твитов о контракте Microsoft с Бюро иммиграционного и таможенного контроля США (ICE), основываясь на истории, которая была опубликована в маркетинговом блоге компании в январе. Честно говоря, об этом посте в компании давно забыли. В нем говорилось о том, что технология Microsoft, созданная для ICE, отвечает высоким требованиям по безопасности и принята для внедрения. Кроме того, отмечалось, что компания гордится своим сотрудничеством с бюро, перед которым теперь открывается возможность использовать технологию распознавания лиц.
В июне 2018 г. решение администрации Трампа о разлучении детей и родителей на южной границе США стало взрывной темой. На этом фоне сделанное несколько месяцев назад маркетинговое заявление, а вместе с ним и использование технологии распознавания лиц, приобрело совсем другой смысл. Людей волновало, чем может обернуться использование такой вещи, как распознавание лиц, в работе ICE и других иммиграционных ведомств. Не приведет ли это к тому, что камеры, связанные с облаком, будут идентифицировать иммигрантов на улицах городов? Не будет ли это, учитывая нынешний уровень данной технологии с присущим ему риском ошибки, приводить к задержаниям совсем не тех, кого нужно?
К обеду в Сиэтле твиты о маркетинговом блоге заполонили интернет, и наша команда по связям с общественностью в срочном порядке занялась выработкой ответа. Некоторые представители разработчиков и маркетинговой службы считали, что нам следует просто удалить пост и сказать: «Эта информация устарела и больше не имеет отношения к делу». Фрэнк Шоу, руководитель службы Microsoft по коммуникациям, три раза просил их не удалять сообщение. «Это лишь осложнит ситуацию», — говорил он. Кто-то всё же не удержался и частично удалил пост. Как и следовало ожидать, это спровоцировало новый раунд негативных отзывов. К следующему утру все извлекли очевидный урок, и пост был восстановлен в первоначальном виде. Как это нередко случается, нам пришлось разбираться с тем, что же на самом деле предусматривал контракт компании с ICE. Когда мы добрались до его сути, выяснилось, что в контракте не было ни слова об использовании технологии распознавания лиц. Microsoft, слава богу, не имела никакого отношения к проектам по разлучению детей с их семьями на границе. Контракт касался оказания ICE помощи в перемещении электронной почты, календарных графиков рассылок и документооборота в облако. Он ничем не отличался от проектов, над которыми мы работали с другими клиентами, включая государственные ведомства, в Соединённых Штатах и по всему миру. Так или иначе, возник новый спор. Некоторые предлагали вообще аннулировать этот контракт и свернуть все работы с ICE — тема использования правительством технологий захватила многих тем летом. Появилась даже группа сотрудников, которая разослала петицию за приостановку контракта с ICE. Этот вопрос даже начал будоражить технологический сектор в целом. Аналогичную активность стали проявлять работники Salesforce, разработчика облачных систем, в связи с его контрактом с таможенно-пограничной службой США. За ними последовали работники Google, заставившие компанию отказаться от проекта по разработке искусственного интеллекта для военного ведомства США. А Американский союз гражданских свобод нацелился на Amazon, поддержав её работников, которые высказывали опасения в отношении Recognition, сервиса компании по распознаванию лиц.
Для технологического сектора и делового сообщества в целом такая активность работников была в новинку. Некоторые усматривали в ней нечто похожее на деятельность профсоюзов, которые более столетия существовали в некоторых отраслях. Однако профсоюзы уделяли внимание главным образом экономике и условиям работы своих членов. Активность работников летом 2018 г. выглядела иначе. Это был призыв занять позицию по конкретным общественным проблемам. Работники не получали от этого ни прямой, ни косвенной выгоды. Они хотели, чтобы работодатели выступили в защиту важных, на их взгляд, общественных ценностей и позиций. С нашей точки зрения, было очень полезно посмотреть, как на эту новую волну активности работников реагируют другие.
Эти эпизоды высветили ряд важных обстоятельств. Важнее всего, пожалуй, был рост ожиданий работников в отношении работодателей. Это стало ясно ещё несколько месяцев назад, когда изменение зафиксировало коммуникационное агентство Edelman в своём ежегодном аналитическом докладе «Барометр доверия». Edelman в своем «Барометре доверия» отмечает изменения в настроениях масс по всему миру, отслеживая колебания доверия людей к разным институтам. Доклад, вышедший в свет в начале 2018 г., показывал, что на фоне резкого падения доверия ко многим государственным и общественным институтам доверие работников к работодателям остается высоким. По его данным, 72% людей в мире верили, что их работодатели «делают то, что должны делать», а в Соединённых Штатах уровень доверия был еще выше — 79%. В отличие от этого, лишь одна треть американцев чувствовала то же самое в отношении правительства.
То, с чем столкнулись мы, подтверждало эту точку зрения и даже развивало её. В технологическом секторе некоторые работники хотели играть активную роль в формировании решений, принимаемых компаниями, и определении их позиции по проблемам дня. Наверное, вряд ли стоит удивляться тому, что такое стремление проявляется сильнее во времена, когда доверие к правительству снижается. Работники начинают искать другой институт, который, на их взгляд, может делать правильные вещи и оказывать определённое влияние на ситуацию в обществе. В результате такого изменения бизнес-лидеры оказывались на неизведанной для них территории.
Во время обеда в узком кругу в Сиэтле генеральный директор одной технологической компании так обобщил общую тревогу. «Я всегда был готов справиться со всем, что касается моей работы, — сказал он, рассказывая о своей карьере. — А тут меня занесло в совершенно другую сферу. Мне совершенно не ясно, как реагировать на запросы работников, которые хотят, чтобы я разделял их обеспокоенность из-за вопросов иммиграции, изменения климата и других проблем».
Не стоит удивляться и тому, что это явление больше всего связано с самым молодым поколением работников. В конце концов, студенты с давних времен шумно митингуют в кампусах колледжей, призывая к социальным изменениям и временами заставляя университеты отступать от своей политики и подавать пример. У действующих из лучших побуждений студентов не обязательно имеются правильные ответы, но они могут задавать правильные вопросы. А эти вопросы могут указать на более правильный путь, который ускользнул от экспертов и руководителей.
Как я люблю повторять своим командам в компании, сырую идею нередко лучше не отбрасывать, а дать возможность довести её до готовности. Некоторые из наших лучших инициатив родились именно таким образом. Этот подход опирается на культуру роста и непрерывного обучения, которую Сатья Наделла заботливо взращивал в Microsoft. Короче говоря, если наступает новая эра активности работников, то нам нужно искать новые пути взаимодействия с персоналом, стараться понять его заботы и выработать содержательный ответ.
Вопросы, которые ставили работники, заставили нас более глубоко обдумать взаимоотношения с правительством и проблемы, создаваемые новыми технологиями вроде технологии распознавания лиц. Так или иначе, нас не очень устраивало предложение объявить бойкот правительственным агентствам в ответ на текущие события, особенно в демократическом обществе с его верховенством закона. В какой-то мере это было бы чересчур. Я всегда старался напоминать другим, что мы не являемся выборным органом. Это не просто странно, а недемократично — требовать, чтобы технологические компании следили за правительством. В принципе более разумно было бы просить избранное правительство регулировать компании, а не требовать от невыборных компаний регулирования правительства. Мы с Сатьей часто обсуждали этот вопрос и считали его важным. Здесь присутствовал и прагматический аспект. Мы ясно сознавали огромную зависимость организаций и людей от нашей технологии. Простое отключение доступа к этой технологии на основании нашего несогласия с действиями того или иного правительственного агентства могло запросто привести к хаосу и непредвиденным последствиям.
В результате мы пришли к выводу, что бойкотирование какого либо правительственного агентства в Соединённых Штатах нельзя считать правильным подходом. Однако люди, настаивающие на таких действиях, в том числе ряд наших собственных работников, ставят правильные вопросы. Технология распознавания лиц, например, создает проблемы, требующие большего внимания. Кроме того, на наш взгляд, эта новая технология требовала нового законодательства и регулирования. Только таким образом можно было обеспечить неприкосновенность частной жизни в обществе и устранить риски необъективности и дискриминации, не мешая дальнейшему внедрению инноваций.
Для многих было странно, что компания обращается к правительству с призывом ввести регулирование для её продуктов. По словам Джона Томпсона, председателя нашего совета директоров, некоторые в Кремниевой долине сочли, что мы отстаём от других компаний на рынке и хотим через регулирование затормозить развитие конкурентов. Это вызвало у меня бурные возражения. Всё совсем не так — в 2018 г. Национальный институт стандартов и технологии после очередного раунда тестирования технологии распознавания лиц признал, что наши алгоритмы являются лучшими или почти лучшими во всех категориях. Помимо нас свою технологию на это тестирование представили ещё компании, но было немало таких, включая Amazon, кто отказался от участия.
Такая заинтересованность в регулировании была связана с нашими представлениями о направлении движения рынка. Несколько месяцев назад одна из наших команд хотела продать ИИ-решение, включавшее в себя сервис по распознаванию лиц, правительству страны, в которой отсутствовала независимая судебная система и не слишком строго соблюдались права человека. Это правительство собиралось внедрить сервис в столице страны. Мы опасались, что правительство, которое пренебрегает правами человека, будет использовать нашу технологию для слежки за неугодными в любом месте — или за всеми на всей территории. По рекомендации нашего внутреннего комитета по этике в сфере ИИ мы решили отказаться от предложенной сделки. Комитет рекомендовал провести черту и воздерживаться от предоставления доступа к сервисам по распознаванию лиц странам, которые, по мнению Freedom House, независимой организации, занимающейся надзором за соблюдением свобод и демократии по всему миру, нельзя считать свободными. Местная команда, конечно, была не в восторге от этого. Я, как лицо, являющееся последней инстанцией в таких вопросах, получил очень эмоциональное электронное письмо от руководителя команды по продажам, которая занималась сделкой. По её словам, она, «как мать и профессионал, … чувствовала бы себя в значительно большей безопасности», если бы мы позволили использовать сервис для снижения риска насилия и террора.
Мне были понятны её доводы. Они подчеркивали сложность компромиссов в такой неоднозначной сфере, как поиски баланса между общественной безопасностью и правами человека. Они также демонстрировали субъективность характера многих этических решений, принимаемых в отношении искусственного интеллекта. И, конечно, нас беспокоило то, что в случае отказа в доступе к этому сервису его могла предоставить какая-нибудь другая компания. Тогда мы проигрывали бы дважды — теряли сделку и становились пассивными наблюдателями того, как кто-то ещё способствует злоупотреблениям, несмотря на нашу позицию. Однако, взвесив все эти факторы, мы решили, что должны попытаться поставить развитие этой новой технологии на некий этический фундамент. А единственным способом сделать это был отказ от определённых видов её использования и развертывание широкой общественной дискуссии.
Потребность в бескомпромиссном подходе усилилась ещё больше, когда местные органы правопорядка в Калифорнии связались с нами и заявили, что хотят оснастить все свои автомобили и полицейских камерами, чтобы они могли постоянно делать снимки людей и смотреть, нет ли среди них тех, кто включён в базу разыскиваемых за какие-либо преступления. Мы понимали логичность такого запроса, но сказали, что технология распознавания лиц пока слишком сырая, чтобы применять её в подобных целях. Это, по крайней мере в 2018 г., привело бы к многочисленным ложным срабатываниям и внесению в списки нарушителей неправильно идентифицированных людей, особенно из числа небелых и женщин, для которых частота появления ошибок остается высокой. Мы отказались от заключения сделки и убедили полицейских воздержаться от использования распознавания лиц с такой целью. В череде подобных случаев постепенно вырисовывались принципы, которые можно было применить к распознаванию лиц.
Беспокоило то, что толку от этого будет мало, если мы начнём поступать правильно с точки зрения морали, а другие компании в Сиэтле и с другой стороны Тихого океана — нет. Распознавание лиц, как и многие другие технологии на основе ИИ, становится тем лучше, чем больше объём доступных данных. Это создает стимул к заключению как можно большего количества сделок и, таким образом, к возникновению коммерческой гонки по нисходящей, в которой технологические компании оказываются перед выбором — социальная ответственность или рыночный успех. Единственный способ защититься от такой гонки по нисходящей — это установить базовую ответственность, которая поддержит здоровую рыночную конкуренцию. А для появления солидной базы нужно было, чтобы эта технология и организации, которые разрабатывают и используют её, опирались на верховенство закона. Мы решили сделать конкретное предложение правительствам по регулированию технологии распознавания лиц
По нашему мнению, законопроект мог решить три ключевые проблемы — устранить риск необъективности, обеспечить неприкосновенность частной жизни и гарантировать защиту демократических свобод. Мы считали, что хорошо функционирующий рынок может ускорить прогресс в деле устранения необъективности. Никому из клиентов, с которыми мы имели дело, не был нужен такой сервис по распознаванию лиц, который даёт много ошибок и приводит к дискриминации. Однако рынок не сможет функционировать, если у клиентов не будет информации.
Для снижения риска дискриминации новый законопроект должен был потребовать от организаций, использующих распознавание лиц, обучения персонала с тем, чтобы он мог анализировать результаты, прежде чем принимать решения, — а не просто передавать принятие решений компьютерам. В числе прочего нас беспокоило, что риски необъективности могут усугубляться, если организации начнут использовать распознавание лиц не так, как предполагалось, когда эта технология разрабатывалась. Обучение персонала могло помочь устранению этой проблемы.
В некотором смысле более сложный вопрос возникал, когда правоохранительные органы хотели использовать распознавание лиц для слежения за перемещениями отдельных людей в течение дня. Демократия всегда зависела от способности людей встречаться и разговаривать друг с другом и даже обсуждать разные взгляды, как конфиденциально, так и публично. Для этого нужна возможность свободно передвигаться, причем без постоянной слежки со стороны правительства.
Государство находит множество применений технологии распознавания лиц в целях обеспечения общественной безопасности и улучшения обслуживания пуб лики, не вызывая подобной обеспокоенности. Однако в сочетании с повсеместным размещением камер, огромной вычислительной мощностью и облачным хранением данных технология распознавания лиц может использоваться для непрерывного слежения за определёнными лицами. Такая слежка может быть начата в любой момент и даже вестись всё время. Подобное использование этой технологии способно привести к массовой слежке в беспрецедентных масштабах.
Как Джордж Оруэлл написал в романе «1984», в будущем гражданам придётся скрываться от слежки государства, пробираться тайком в тёмное место с занавешенными окнами, иначе камеры и микрофоны сфотографируют их лица и запишут каждое слово. Оруэлл нарисовал эту картину почти 70 лет назад. Нас беспокоит то, что нынешняя технология делает такое будущее возможным.
Ответом, на наш взгляд, был законопроект, позволяющий правоохранительным органам использовать распознавание лиц для постоянной слежки за определёнными людьми только при наличии решения суда или в случае неминуемой угрозы жизни кого-либо. Это создало бы правила для сервисов по распознаванию лиц, аналогичные тем, что действуют сейчас в Соединённых Штатах в отношении слежения за перемещением людей по местонахождению их сотовых телефонов с GPS-навигацией. В соответствии с принятым в 2018 г. решением Верховного суда, полиция не может без ордера на обыск получить записи, показывающие местонахождение телефона, а следовательно, и перемещение человека. Мы сформулировали этот вопрос и ответ на него так: «Нуждаются ли наши лица в такой же защите, как и телефоны? С нашей точки зрения, ответом является твердое „да“».
Наконец, было очевидно, что регулирование распознавания лиц также должно защищать персональные данные потребителей в коммерческом контексте. Мы стоим на пороге эпохи, в которую у каждого магазина могут быть камеры, связанные с облаком и сервисами по распознаванию лиц в реальном времени. Как только вы входите в магазин, вас могут не только сфотографировать, но и узнать. Владелец магазина может поделиться этой информацией с другими торговыми организациями. Владея такой информацией, торговцы знают, когда вы приходили в последний раз, чем интересовались и что купили, у них появляется возможность предсказывать, что вас будет интересовать в следующий раз.
У нас не было цели добиться, чтобы новое регулирование запрещало такие технологии. Напротив, мы входим в число компаний, которые стараются помочь магазинам ответственно использовать технологию для повышения качества обслуживания покупателей. С нашей точки зрения, многим потребителям должен понравиться новый уровень обслуживания. Вместе с тем мы считали, что люди должны знать, когда используется распознавание лиц, иметь право задавать вопросы и возможность реального выбора. Мы рекомендовали установить для организаций, использующих распознавание лиц, требование «ясно уведомлять» людей об этом. Кроме того, нужно разработать новые правила принятия решений о том, когда и как люди могут реально контролировать процесс и давать согласие на него. Понятно, что последний вопрос потребует дополнительной проработки в ближайшие годы для определения правильного правового подхода, особенно в Соединённых Штатах, где законодательство о защите персональных данных не так развито, как в Европе.
Даже если правительство США предпримет решительные действия, мир не обязательно поступит так же. У людей никогда не будет уверенности в том, что все страны мира будут использовать эту технологию с соблюдением прав человека. Главенствующая роль правительств, впрочем, не снимает с технологических компаний моральной ответственности. Технология распознавания лиц должна разрабатываться и применяться в соответствии с общепринятыми ценностями.
Проблема распознавания лиц даёт некоторое представление о возможных путях эволюции других этических вопросов, связанных с искусственным интеллектом. Их решение может начинаться, как и в нашем случае, с широких принципов, единых для всех стран, и с тестирования этих принципов на практике применительно к конкретным технологиям ИИ и конкретным сценариям. Кроме того, толчком к поиску решения может стать появление потенциально неоднозначных сфер применения ИИ. Наверняка возникнут новые проблемы. Как и в случае с распознаванием лиц, каждая из них потребует детальной проработки и тщательного исследования потенциальных направлений использования технологии. Многие из них придется решать, сочетая государственное регулирование и активное саморегулирование технологических компаний. Немало будет и таких, которые приведут к серьезным различиям во взглядах в разных странах и культурах. Нам придётся выработать более эффективные подходы, позволяющие странам быстрее двигаться вперёд и сотрудничать в поисках решения этих проблем. Только так можно гарантировать, что машины и дальше будут подчиняться людям.
