Текст: Адам Сатариано и Розер Толл Пифарре, The New York Times

Перевод: Татьяна Казымова

Фото: Maxim Hopman, Unsplash

Испанская полиция применяет компьютерный алгоритм в борьбе с гендерным насилием, причем программное обеспечение настолько плотно интегрировано в работу Министерства внутренних дел, что трудно определить, где заканчиваются его рекомендации и начинаются решения, принимаемые людьми. Система под названием VioGén призвана помочь правоохранительным органам защитить уязвимых женщин и в целом сократить число повторных нападений. Однако результат пока оставляет желать лучшего: жертвы, чей уровень риска был неверно рассчитан, подвергаются повторным нападениям — иногда со смертельным исходом.

11 января 2022 года в небольшой квартире в пригороде столицы Испании Мадрида бытовая ссора между 32-летней Лобной Хемид и ее мужем Бутаэрем эль Банаисати переросла в ожесточенную драку — мужчина разбил деревянную полку для обуви и использовал один из обломков, чтобы избить жену. Ее крики услышали соседи. Четверо детей этой пары (в возрасте от 6 до 12 лет) тоже были дома. Позже в полицейском участке Хемид рассказала, что муж регулярно избивал ее, называя отвратительной и никчемной.

Блюстители порядка обработали показания женщины в алгоритме VioGén, используя ответы да или нет на вопросы, использовалось ли оружие, были ли финансовые проблемы, проявлял ли агрессор контролирующее поведение, и т. д. Система оценила риск будущих конфликтов в семье Хемид и Банаисати как низкий, полиция согласилась с этим итогом, и женщина отправилась домой, так и не получив защиты. Ее мужа, который в ту ночь был заключен под стражу, освободили на следующий день. Семь недель спустя он нанес Лобне несколько смертельных ударов ножом в грудь и живот, после чего покончил с собой.

Фатальные решения

На сегодняшний день в Испании насчитывается 92 тыс. активных дел жертв гендерного насилия, прошедших оценку VioGén, и большинство из них (83%) классифицируются как имеющие низкий риск повторного нападения со стороны абьюзера. Тем не менее, по данным МВД Испании, контролирующего систему, примерно 8% случаев, в которых алгоритм определил риск для женщины как незначительный, и в 14% случаев с низким риском преступник совершал рецидив.

По словам испанских чиновников, местная полиция обучена отменять рекомендации VioGén при наличии неоспоримых доказательств, но в 95% случаев она соглашается с оценками системы. Судьи также могут использовать результаты, просчитанные алгоритмом, при рассмотрении запросов на судебные запреты и другие меры защиты.

Использование ИИ для принятия социально важных решений — глобальная тенденция, которая, как ожидается, будет расти с развитием технологий. Например, в США алгоритмы помогают определять сроки тюремного заключения, выставлять полицейские патрули и выявлять детей, подверженных риску жестокого обращения. В Нидерландах и Великобритании их применяют, чтобы предсказать, кто может стать преступником, и выявить людей, которые потенциально могут совершить мошенничество в сфере социального обеспечения.

Однако использование лишь немногих подобных программ повлекло за собой такие роковые последствия. Жертвы, опрошенные The New York Times, редко знали о том, какую роль VioGén сыграла в их делах. Правительство также не опубликовало исчерпывающие данные об эффективности системы и отказалось предоставить алгоритм для внешнего аудита.

Бессердечный алгоритм

Система VioGén создавалась как беспристрастный инструмент, помогающий полиции в условиях ограниченных ресурсов выявлять и защищать женщин, наиболее подверженных риску повторного нападения. Технология должна была повысить эффективность работы, помогая органам определять приоритетность наиболее срочных дел, уделяя меньше внимания тем случаям, которые программа относит к категории низкого риска.

Испанское Министерство внутренних дел выступило в защиту программы VioGén и заявило, что правительство «первым подвергает себя самокритике», когда происходят ошибки. По мнению регулятора, убийства происходят настолько редко, что их трудно точно предсказать, но «неоспоримым фактом» является то, что алгоритм помог снизить уровень насилия в отношении женщин.

По информации министерства, с 2007 года около 0,03% из 814 тыс. зарегистрированных в Испании жертв гендерного насилия были убиты после того, как VioGén оценила их риски как недостаточно высокие. За это время число повторных нападений сократилось с 40% до 15% от общего числа случаев гендерного насилия, согласно правительственным данным. «Если бы не программа, у нас было бы больше убийств и гендерного насилия», — говорит Хуан Хосе Лопес Оссорио, психолог из МВД Испании, который помог создать VioGén.

Однако жертвы и их семьи сталкиваются с последствиями, когда VioGén ошибается. «Технологии — это хорошо, но иногда они не работают, и это может привести к фатальным последствиям, — говорит Хесус Мельгуисо, зять Лобны Хемид, который теперь является опекуном ее детей. — У компьютера нет сердца».

Не идеально, но работает

VioGén запустили после того, как в 2004 году в Испании был принят закон о борьбе с насилием в отношении женщин. Правительство собрало экспертов — статистиков, психологов и из других сфер, — чтобы найти ответ, можно ли предсказать нападение. Их целью было создать статистическую модель для выявления женщин, наиболее подверженных риску насилия, и разработать стандартные меры по их защите.

Алгоритмы прогнозирования для борьбы с домашним насилием уже использовались в Великобритании, Канаде, Германии и США, но не в таких масштабах. В Испании Министерство внутренних дел внедрило VioGén везде, кроме региона Каталония и Страны Басков. Поначалу сотрудники правоохранительных органов встретили алгоритм со скептицизмом, но вскоре он стал частью повседневной работы полиции. До появления VioGén расследования основывались на опыте полицейского.

С годами система совершенствовалась и обновлялась, в том числе с помощью показателей, которые, как считается, лучше предсказывают вероятность совершения убийства. Однако доверие органов к VioGén удивило некоторых экспертов. Хуанхо Медина, старший научный сотрудник Севильского университета, изучавший алгоритм, говорит, что эффективность системы остается недоказанной. «Мы не умеем предсказывать погоду, не говоря уже о поведении людей», — утверждает он.

Командир военной полиции в Севилье Франсиско Хавьер Курто говорит, что VioGén помогает его командам определять приоритеты, но все же требует тщательного надзора. Ежедневно поступает около 20 сообщений о новых случаях гендерного насилия и каждый из них требует расследования. Обеспечить полицейскую защиту каждой жертве было бы невозможно, учитывая численность персонала и выделяемый бюджет. «Система эффективна, но не совершенна, — сказал он. — VioGén — это лучший алгоритм, который существует в мире на данный момент».

А в профсоюзе национальной полиции Sindicato Unificado de Policía считают, что даже самые эффективные технологии не могут восполнить нехватку квалифицированных специалистов. В некоторых районах одному полицейскому приходится работать более чем со ста жертвами.

Летальные случаи

Одной из женщин, убитых после оценки VioGén, была Стефани Гонсалес Эскарраман, 26-летняя девушка, которая жила недалеко от Севильи. В 2016 году она обратилась в полицию после того, как муж ударил ее по лицу и стал душить. По словам жертвы, он швырял в нее предметы, в том числе кухонный половник, который попал в их трехлетнего ребенка. Полиция беседовала с Эскарраман примерно пять часов, и алгоритм определил, что риск повторного насилия над ней ничтожно мал.

Примерно через месяц супруг нанес Эскарраман множественные удары ножом в сердце на глазах у их детей. В 2020 году семья девушки выиграла судебный процесс против государства за то, что оно не смогло адекватно оценить степень риска и обеспечить достаточную защиту. «Если бы ей оказали помощь, возможно, она была бы жива», — сказал Уильямс Эскарраман, брат жертвы.

В 2021 году Еву Хаулар из Льяньо на севере Испании убил бывший бойфренд, хотя VioGén в ее случае сочла риск повторного насилия низким. Он также убил их 11-месячную дочь. Шестью неделями ранее мужчина воткнул нож в диванную подушку рядом с Хаулар и сказал: «Посмотри, как хорошо он втыкается», — говорится в полицейском отчете.

Вопросы этики

Eticas.ai, международная SaaS-компания, специализирующаяся на аудите, мониторинге предвзятости и сертификации в сфере ИИ, с 2018 года неоднократно предлагала Министерству внутренних дел Испании провести конфиденциальный аудит системы, но не получила ответа. Тем не менее аналитики фирмы оценили VioGén и пришли к неутешительным выводам:

• 80% женщин, опрошенных в ходе исследования Eticas.ai, сообщили о различных проблемах с опросником VioGén;
• 35% респондентов не были проинформированы о том, как система оценила их ситуацию, и поэтому не знали, какой уровень риска был им присвоен;
• большинство женщин, подвергшихся гендерному насилию, приходят в полицейский участок, чтобы подать заявление, сразу после инцидента, а значит, обычно находятся в состоянии шока. Интервьюируемые Eticas.ai отмечали, что им было трудно вспомнить все, что произошло, организовать свои мысли и дать подробные ответы на вопросы алгоритма;
• 15 женщин из 31 негативно оценили свой опыт работы с системой. Одна из главных проблем, связанных с VioGén, — что примерно 45% случаев классифицируются как неоцененный риск. Поэтому эксперты предполагают, что какие-то факторы программа пока не учитывает. Жертвы и адвокаты согласны, что система недооценивает психологическое насилие, а также новые формы нефизического насилия.