Вы уверены, что когда искусственный интеллект подсказывает вам, что купить, посмотреть, почитать, куда поехать и даже о чем подумать, он просто экономит ваше время? Или постепенно отнимает у вас право выбирать? “Инк” спросил у профессиональных пользователей нейросетей и ученых в сфере ИИ, остается ли выбор свободными и где проходит граница между удобным сервисом и манипуляцией.
Вы уверены, что когда искусственный интеллект подсказывает вам, что купить, посмотреть, почитать, куда поехать и даже о чем подумать, он просто экономит ваше время? Или постепенно отнимает у вас право выбирать? “Инк” спросил у профессиональных пользователей нейросетей и ученых в сфере ИИ, остается ли выбор свободными и где проходит граница между удобным сервисом и манипуляцией.
Рекомендательные алгоритмы давно анализируют наше поведение, чтобы предсказать, что с наибольшей вероятностью нам понравится, а генеративный ИИ делает следующий шаг — не только предлагает варианты, но и сам формулирует ответ, сокращая путь от вопроса к решению.
Елена Кантонистова
академический руководитель онлайн-магистратуры «Искусственный интеллект» ФКН НИУ ВШЭ
«Современные рекомендательные алгоритмы редко пытаются “заставить” человека сделать что-то, ведь это почти невозможно. Гораздо эффективнее постепенно увеличивать вероятность маленьких промежуточных шагов: заинтересоваться темой, открыть сайт, посмотреть цены, сравнить варианты, добавить товар в корзину. <…> Окончательное решение действительно принимает человек. Он может отказаться от покупки, выбрать не ту страну, что в рекламе, или вообще передумать. Но информационная среда, которую формируют алгоритмы, меняет вероятности различных вариантов еще до того, как человек начинает осознанно размышлять о выборе. Именно поэтому специалисты по искусственному интеллекту говорят не о «контроле над человеком», а об управлении вероятностями. Алгоритм не знает, какое решение будет принято, он лишь стремится сделать одни пути немного более вероятными, а другие — менее. Поэтому даже небольшие их изменения могут заметно влиять на то, какие решения пользователи принимают в среднем».
Елена Кантонистова
академический руководитель онлайн-магистратуры «Искусственный интеллект» ФКН НИУ ВШЭ
«Современные рекомендательные алгоритмы редко пытаются “заставить” человека сделать что-то, ведь это почти невозможно. Гораздо эффективнее постепенно увеличивать вероятность маленьких промежуточных шагов: заинтересоваться темой, открыть сайт, посмотреть цены, сравнить варианты, добавить товар в корзину. <…> Окончательное решение действительно принимает человек. Он может отказаться от покупки, выбрать не ту страну, что в рекламе, или вообще передумать. Но информационная среда, которую формируют алгоритмы, меняет вероятности различных вариантов еще до того, как человек начинает осознанно размышлять о выборе. Именно поэтому специалисты по искусственному интеллекту говорят не о «контроле над человеком», а об управлении вероятностями. Алгоритм не знает, какое решение будет принято, он лишь стремится сделать одни пути немного более вероятными, а другие — менее. Поэтому даже небольшие их изменения могут заметно влиять на то, какие решения пользователи принимают в среднем».
Но если алгоритм не просто предсказывает решение, а действует на основании своего прогноза, он уже способен менять среду, в которой это решение принимается.
Иван Козицин
д.ф.-м.н., ведущий научный сотрудник ИПУ РАН, доцент МФТИ
«Предсказуемость и несвобода — это разные вещи. Принципиальное отличие рекомендательной системы в том, что она не просто предсказывает, а действует на основании предсказания и тем самым меняет условия, в которых мы выбираем. <…> Прогноз становится “самосбывающимся”: система решает, что человеку интересна определенная тема, показывает ее чаще, получает подтверждение своей гипотезы и усиливает ее».
«Выбор никогда не делался из всех возможных вариантов: меню всегда кем-то формировалось заранее, будь то редактор газеты, школьная программа или круг знакомых. Новизна здесь в том, что меню формируется индивидуально, непрозрачно и подстраивается под реакцию за секунды/минуты».
Иван Козицин
д.ф.-м.н., ведущий научный сотрудник ИПУ РАН, доцент МФТИ
«Предсказуемость и несвобода — это разные вещи. Принципиальное отличие рекомендательной системы в том, что она не просто предсказывает, а действует на основании предсказания и тем самым меняет условия, в которых мы выбираем. <…> Прогноз становится “самосбывающимся”: система решает, что человеку интересна определенная тема, показывает ее чаще, получает подтверждение своей гипотезы и усиливает ее».
«Выбор никогда не делался из всех возможных вариантов: меню всегда кем-то формировалось заранее, будь то редактор газеты, школьная программа или круг знакомых. Новизна здесь в том, что меню формируется индивидуально, непрозрачно и подстраивается под реакцию за секунды/минуты».
ИИ меняет не только рекомендации товаров и контента. По данным исследований, пользователи уже начинают менять привычный способ поиска информации: часть из них реже обращается к поисковикам, обзорам и новостным сайтам, если ответ можно получить непосредственно у нейросети. При этом сами рекомендательные системы развиваются в сторону более точной персонализации — но одновременно пытаются учитывать разнообразие интересов пользователя.
Андрей Зимовнов
директор по ИИ, VK
«Еще до активного обсуждения генеративного ИИ мы каждый день пользовались системами, которые предугадывают наши интересы: музыкальными рекомендациями, лентами социальных сетей, подборками фильмов. ИИ делает персонализацию глубже и точнее, но саму границу между хорошим сервисом и манипуляцией не сдвигает, она проходит там же, где и раньше. <…> Манипуляция, зачастую непреднамеренная, начинается там, где система оптимизирует исключительно метрики потребления и удерживает внимание пользователя.
Поэтому цифровая усталость — это следствие не самого предугадывания интересов, а некачественной персонализации: информационного шума, навязчивости и замыкания человека в привычном круге контента. Хорошая рекомендательная система, наоборот, снижает усталость от бесконечного выбора, помогая быстрее находить то, что действительно интересно и полезно. <…> В конечном счете критерий хорошего сервиса очень простой: он помогает человеку достичь собственной цели, а не только увеличить время, проведенное в приложении».
Андрей Зимовнов
директор по ИИ, VK
«Еще до активного обсуждения генеративного ИИ мы каждый день пользовались системами, которые предугадывают наши интересы: музыкальными рекомендациями, лентами социальных сетей, подборками фильмов. ИИ делает персонализацию глубже и точнее, но саму границу между хорошим сервисом и манипуляцией не сдвигает, она проходит там же, где и раньше. <…> Манипуляция, зачастую непреднамеренная, начинается там, где система оптимизирует исключительно метрики потребления и удерживает внимание пользователя.
Поэтому цифровая усталость — это следствие не самого предугадывания интересов, а некачественной персонализации: информационного шума, навязчивости и замыкания человека в привычном круге контента. Хорошая рекомендательная система, наоборот, снижает усталость от бесконечного выбора, помогая быстрее находить то, что действительно интересно и полезно. <…> В конечном счете критерий хорошего сервиса очень простой: он помогает человеку достичь собственной цели, а не только увеличить время, проведенное в приложении».
Для пользователя граница между персонализацией и давлением может проходить еще и по другому критерию: остается ли у него возможность легко отказаться от того, что ему предложила система?
Александра Стрелкова
генеральный директор МТС Ads Premium Video (входит в МТС AdTech)
«Пользователи стримингов хотят, чтобы ИИ угадывал их еще не оформленные желания, подстраивая рекомендации под конкретного пользователя. Данные Netflix это подтверждают: упрощение рекомендаций снижает активность на 4–12%. То есть точное попадание в интерес — это не манипуляция, а базовая ценность сервиса.
Но проблема возникает, когда предугадывание перестает быть помощью. Гиперперсонализированная реклама, которая встраивает продукты брендов прямо в кадр (динамический продакт-плейсмент) и использует временную хронику просмотра — например, подстраивает длительность или содержание рекламного сообщения под то, сколько минут фильма пользователь обычно досматривает, — это уже вопрос баланса между пользой и вторжением в приватность. Новый шаг в лучший сервис — это когда ИИ угадывает желание, но оставляет выбор. Начало цифровой усталости наступает, когда предугадывание превращается в давление. Граница проходит ровно там, где у пользователя есть легкий и реальный путь сказать “нет”».
Александра Стрелкова
генеральный директор МТС Ads Premium Video (входит в МТС AdTech)
«Пользователи стримингов хотят, чтобы ИИ угадывал их еще не оформленные желания, подстраивая рекомендации под конкретного пользователя. Данные Netflix это подтверждают: упрощение рекомендаций снижает активность на 4–12%. То есть точное попадание в интерес — это не манипуляция, а базовая ценность сервиса.
Но проблема возникает, когда предугадывание перестает быть помощью. Гиперперсонализированная реклама, которая встраивает продукты брендов прямо в кадр (динамический продакт-плейсмент) и использует временную хронику просмотра — например, подстраивает длительность или содержание рекламного сообщения под то, сколько минут фильма пользователь обычно досматривает, — это уже вопрос баланса между пользой и вторжением в приватность. Новый шаг в лучший сервис — это когда ИИ угадывает желание, но оставляет выбор. Начало цифровой усталости наступает, когда предугадывание превращается в давление. Граница проходит ровно там, где у пользователя есть легкий и реальный путь сказать “нет”».
Иван Розанов
кандидат медицинских наук, доцент кафедры общей психологии МГППУ, ИИ-разработчик
«Делегирование выбора машине — это не просто бытовая «лень ума». Это делегирование может приводить к тонким и даже к грубым нарушениям волевой регуляции. Эмпирические данные уже неумолимо фиксируют снижение эффективности когнитивного функционирования при таком делегировании. <…>В каких же сферах человеку категорически нельзя уступать «кресло пилота»? Там, где цена ошибки измеряется не потерянным временем, а человеческой жизнью. Речь о профессиональной деятельности, и прежде всего — о медицине. Если алгоритм ошибется, кто предстанет перед судом? Машина не может и не должна становиться субъектом административного или уголовного права; это очевидный юридический тупик.
Окончательное решение всегда должно оставаться за человеком. Выход из этого противоречия лежит в плоскости четкого правового регулирования и выпуска профильных законодательных актов. Этика применения искусственного интеллекта начинается не с заумных философских трактатов, а с сухих строк закона.»
Иван Розанов
кандидат медицинских наук, доцент кафедры общей психологии МГППУ, ИИ-разработчик
«Делегирование выбора машине — это не просто бытовая «лень ума». Это делегирование может приводить к тонким и даже к грубым нарушениям волевой регуляции. Эмпирические данные уже неумолимо фиксируют снижение эффективности когнитивного функционирования при таком делегировании. <…>В каких же сферах человеку категорически нельзя уступать «кресло пилота»? Там, где цена ошибки измеряется не потерянным временем, а человеческой жизнью. Речь о профессиональной деятельности, и прежде всего — о медицине. Если алгоритм ошибется, кто предстанет перед судом? Машина не может и не должна становиться субъектом административного или уголовного права; это очевидный юридический тупик.
Окончательное решение всегда должно оставаться за человеком. Выход из этого противоречия лежит в плоскости четкого правового регулирования и выпуска профильных законодательных актов. Этика применения искусственного интеллекта начинается не с заумных философских трактатов, а с сухих строк закона.»
Но если алгоритм не просто предсказывает решение, а действует на основании своего прогноза, он уже способен менять среду, в которой это решение принимается.
Иван Козицин
д.ф.-м.н., ведущий научный сотрудник ИПУ РАН, доцент МФТ
«Опасность не только в том, что человек разучится считать или писать <…>, а в том, что он постепенно перестанет формулировать задачу самостоятельно. Делегировать исполнение — это в целом нормально, это делали всегда. Делегирование постановки вопроса — это уже совсем другое, потому что вместе с ним уходит и способность заметить, что вопрос поставлен неверно».
Иван Козицин
д.ф.-м.н., ведущий научный сотрудник ИПУ РАН, доцент МФТ
«Опасность не только в том, что человек разучится считать или писать <…>, а в том, что он постепенно перестанет формулировать задачу самостоятельно. Делегировать исполнение — это в целом нормально, это делали всегда. Делегирование постановки вопроса — это уже совсем другое, потому что вместе с ним уходит и способность заметить, что вопрос поставлен неверно».
