OpenAI создала инструмент, способный идентифицировать тексты, написанные ChatGPT

Компания OpenAI создала инструмент, который может поймать студентов, которые просят ChatGPT выполнить за них письменные задания, но, по данным The Wall Street Journal, компания сомневается, стоит ли выпускать его. Представитель OpenAI подтвердил эту информацию, но сказал, что компания применяет «взвешенный подход» из-за «сложностей, связанных с этим, и вероятного влияния», выходящего за рамки OpenAI.

«Разрабатываемый нами метод нанесения водяных знаков на тексты технически перспективен, но имеет серьезные риски, которые мы взвешиваем, пока изучаем альтернативные варианты», — сказал представитель компании. Такой подход отличается от большинства предыдущих попыток обнаружить текст, созданный искусственным интеллектом, которые были в основном неэффективны. Даже сама компания OpenAI свернула работу над своим предыдущим ИИ-детектором текста в прошлом году из-за его «низкой точности».

Теперь же OpenAI сосредоточится исключительно на обнаружении текста, сгенерированного ChatGPT, а не моделями других компаний. Для этого потребуется внести небольшие изменения в то, как ChatGPT выбирает слова, по сути, создавая невидимый водяной знак в тексте, который впоследствии может быть обнаружен отдельным инструментом.

OpenAI также опубликовала запись в своем блоге, посвященную исследованиям в области обнаружения контента, созданного ИИ. В обновлении говорится, что водяной знак оказался «очень точным и даже эффективным против локальных фальсификаций, таких как перефразирование», однако «менее эффективным против глобальных фальсификаций, таких как использование систем перевода, переформулирование с помощью другой генеративной модели или просьба модели вставить специальный символ между каждым словом, а затем удалить этот символ».

В результате, пишет OpenAI, злоумышленники могут легко обойти этот метод. В обновлении компания также приводит слова пресс-секретаря о том, что водяной знак на тексте может «заклеймить использование искусственного интеллекта в качестве полезного инструмента  написания текстов для людей, не являющихся носителями английского языка».

Недавно OpenAI представила расширенный голосовой режим ChatGPT, впервые предоставив пользователям доступ к гиперреалистичным аудиоответам GPT-4o. Альфа-версия доступна небольшой группе пользователей ChatGPT Plus, а OpenAI говорит, что функция будет постепенно распространяться на всех пользователей Plus осенью 2024 года.