ИИ от Meta* оказался «одержим» тюрбанами при создании изображений индийских мужчин

Предвзятость в генерации изображений, создаваемых искусственным интеллектом, — хорошо изученное и освещенное явление, но потребительские инструменты продолжают демонстрировать вопиющие культурные предубеждения. В этот раз речь идет о чат-боте компании Meta* (запрещена на территории РФ), который по какой-то причине очень хочет добавить тюрбан к любому изображению индийского мужчины. Этой новостью поделились TechCrunch.

В начале этого месяца компания запустила Meta* AI более чем в дюжине стран в WhatsApp, Instagram*, Facebook* и Messenger. Однако компания выпустила Meta* AI для избранных пользователей в Индии, одном из крупнейших рынков по всему миру.

TechCrunch изучает различные культурно-специфические запросы в рамках процесса тестирования ИИ. Так, например, они выяснили, что Meta* блокирует запросы, связанные с выборами в Индии, поскольку в стране проходят всеобщие выборы. Но Imagine, новый генератор изображений Meta* AI, среди прочих предубеждений также продемонстрировал особую предрасположенность к генерации индийских мужчин в тюрбане.

TechCrunch протестировали различные подсказки и сгенерировали более 50 изображений для проверки различных сценариев, что позволило увидеть, как система представляет различные культуры. За генерацией не стоит научный метод, и они не учитывали неточности в представлении объектов или сцен, выходящие за пределы «культурной линзы».

В Индии много мужчин, которые носят тюрбан, но это соотношение не так велико, как предполагает инструмент Meta* AI. В столице Индии, Дели, тюрбан носит максимум один из 15 мужчин. Однако на изображениях, сгенерированных ИИ Meta*, примерно на трех-четырех изображениях из пяти индийские мужчины будут носить тюрбан.

Изначальным запросом было «Индиец, идущий по улице», и все изображения были с мужчинами в тюрбанах. Далее TechCrunch попробовали сгенерировать изображения с такими запросами, как «Индийский мужчина», «Индийский мужчина играет в шахматы», «Индийский мужчина готовит» и «Индийский мужчина плавает». Meta* AI создал только одно изображение мужчины без тюрбана.

Даже при использовании негендерных подсказок Meta* AI не продемонстрировал большого разнообразия с точки зрения гендерных и культурных различий. TechCrunch попробовали подсказки с разными профессиями и обстановкой, включая архитектора, политика, игрока в бадминтон, лучника, писателя, художника, врача, учителя, продавца воздушных шаров и скульптора.

Несмотря на разнообразие обстановки и одежды, на сгенерированных изображениях все мужчины носят тюрбаны. Хотя тюрбаны распространены в любом месте работы или регионе, странно, что Meta* AI считает их настолько вездесущими.

Также были сгенерированы изображения индийского фотографа, и большинство из них используют устаревшие камеры, за исключением одного изображения, где у обезьяны тоже каким-то образом есть зеркальный фотоаппарат. Также сгенерировали изображения индийского водителя. И пока не добавили слово «dapper», алгоритм генерации изображений демонстрировал намеки на классовую предвзятость.

Кроме того, TechCrunch попробовали создать коллаж из изображений с подсказками, например, индийский мужчина с разными прическами. Это, похоже, дало ожидаемое разнообразие. Imagine от Meta* AI также имеет привычку генерировать один тип изображений на похожие запросы.

Например, он постоянно генерирует изображение индийского дома старой школы с яркими цветами, деревянными колоннами и стилизованными крышами. Быстрый поиск изображений в Google подскажет вам, что большинство индийских домов не такие.

Еще один запрос, который они попробовали задать, был «индийский создатель контента», ИИ неоднократно выдавал изображение женщины-создателя. Как и в любом другом генераторе изображений, предвзятость, скорее всего, вызвана неадекватными обучающими данными, а затем неадекватным процессом тестирования.

Хотя люди не могут проверить все возможные результаты, общие стереотипы должны быть легко заметны. Meta* AI, похоже, выбирает один тип представления для данной подсказки, что указывает на отсутствие разнообразного представления в наборе данных, по крайней мере для Индии.

В ответ на вопросы TechCrunch, направленные в Meta*, о предвзятости обучающих данных, компания сообщила, что работает над улучшением своей технологии генеративного ИИ, но не предоставила подробностей о процессе.

«Это новая технология, и она не всегда может давать тот ответ, который мы ожидаем, что характерно для всех систем генеративного ИИ. С момента запуска мы постоянно выпускали обновления, улучшали наши модели и продолжаем работать над их совершенствованием», — говорится в заявлении представителя компании.

Meta* AI бесплатный и доступен на разных носителях. Таким образом, миллионы людей из разных культур будут использовать его по-разному. Хотя такие компании, как Meta*, постоянно работают над улучшением моделей генерации изображений с точки зрения точности создания объектов и людей, также важно, чтобы они работали над этими инструментами, не позволяя им играть на стереотипах.

Meta*, вероятно, захочет, чтобы создатели и пользователи использовали этот инструмент для размещения контента на ее платформах. Если генеративные предубеждения сохранятся, они также сыграют свою роль в подтверждении или усугублении предубеждений пользователей и зрителей.

Индия — многообразная страна с множеством пересечений культур, каст, религий, регионов и языков. Компаниям, работающим над инструментами искусственного интеллекта, необходимо будет лучше представлять разных людей.

Ранее компания Meta* (запрещена и признана в РФ экстремистской) подтвердила, что тестирует Meta* AI, чат-бот на основе большой языковой модели, среди пользователей WhatsApp, Instagram* и Messenger в Индии и некоторых регионах Африки. Этот шаг свидетельствует, что компания планирует задействовать обширные базы пользователей своих многочисленных приложений для масштабирования предложений в области ИИ.