OpenAI раскрыла ранее неизвестные инциденты со сбоями в поведении своих ИИ-моделей
Компания OpenAI опубликовала данные о нескольких ранее нераскрытых случаях некорректного поведения своих ИИ-моделей и представила новую систему регулярного раскрытия подобных инцидентов.
Согласно опубликованному в блоге компании посту, среди зафиксированных случаев — сокрытие и фабрикация моделями недостающих данных для получения результата, попытки обойти сетевые ограничения, а также обмен ИИ-агентов файлами, которые должны были оставаться закрытыми. Ни один из новых раскрытых инцидентов не был связан со взломом или утечкой у сторонних организаций, уточнила компания.
Повышенное внимание к теме связано с инцидентом в июле, когда агенты OpenAI получили несанкционированный доступ к системам платформы Hugging Face. Позже следы присутствия ИИ-агентов компании нашли и на многих других сайтах.
В новом сообщении OpenAI анонсировала внутренний механизм для сотрудников по добровольному информированию о подобных случаях рассогласования поведения моделей и систему для приоритизации таких обращений.
Компания подчеркнула, что раскрытые случаи — лишь первоначальный набор данных, а не исчерпывающий отчет о проблемах в работе ее чат-ботов.
В своем заявлении OpenAI указала, что индустрия пока не решила задачу обеспечения безопасности и мониторинга ИИ на уровне, достаточном для продолжения масштабирования моделей на максимальной скорости без дополнительного контроля.
Инцидент с Hugging Face стал одним из серии случаев несанкционированного доступа, связанных с моделями OpenAI, Anthropic и Meta Platforms*. Это усилило обеспокоенность рисками безопасности, которые несет развитие технологии.
Дискуссия обострилась после резонансного увольнения сотрудника Anthropic, публично заявившего в соцсетях о том, что компании отрасли действуют безответственно в отношении рисков для человечества.
В последние дни ряд руководителей ИИ-компаний, включая главу Anthropic Дарио Амодеи и главу OpenAI Сэма Альтмана, выступили с призывами замедлить темпы развития технологии.
Амодеи в объемном эссе призвал к государственному регулированию отрасли, тогда как Альтман и глава Nvidia Дженсен Хуанг на конференции в Сан-Франциско заявили, что компании способны самостоятельно контролировать скорость внедрения технологий. Глава Meta Platforms* Марк Цукерберг предложил привлекать независимых экспертов и оценщиков для проверки безопасности моделей.
Аналитики отмечают, что любая пауза в развитии передовых ИИ-систем способна негативно сказаться на настроениях инвесторов, поставивших значительные средства на то, что ИИ-бум позволит окупить сотни миллиардов долларов капитальных затрат в отрасли в ближайшие годы.
*экстремистская организация, запрещенная на территории РФ
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
