Как понять, что текст написал ИИ, и можно ли доверять детекторам? Мнения экспертов

«Первое, что бросается в глаза, — шаблонность. Текст гладкий, не придерешься, но состоит из самых общих рассуждений в стиле “доброта должна быть доброй, а зло должно быть злым”: почти нет фактов, цифр, примеров, одна “вода”.

Структура тоже четкая и предсказуемая: вступление, три пункта с подзаголовками, вывод. Такая повторяемость быстро выдает ИИ. Но самое опасное — фактические ошибки, то есть полностью придуманные факты. Пользователю надо еще понимать, что именно проверять, а гладкость таких текстов убаюкивает, им хочется верить».

«Если модели не хватает знаний, она может достроить ответ наиболее вероятным, с ее точки зрения, образом: подставить похожую дату, фамилию, название документа или ссылку. Внешне такой текст будет выглядеть столь же уверенно, как и достоверный. Чтобы выполнить требование “если не знаешь, так и скажи”, модель должна сначала надежно определить, что именно она не знает. Такой встроенной и безошибочной оценки собственной неопределенности у нее нет. Для системы, которая свободно отвечает на открытый круг вопросов, гарантировать нулевую долю выдумок нельзя».

«Написать “не выдумывай” в запросе — это примерно как сказать “хочу, чтобы обязательно выпал орел” и бросить монетку. Языковые модели так не работают. Технически они вообще не “врут”: их задача — выдавать наиболее статистически правдоподобный ответ в продолжение вашего запроса. То, что они отвечают фактически правильно, — скорее приятный бонус и удача, просто довольно частая. Сама по себе языковая модель и не должна была отвечать правду.

Чтобы этим можно было хоть как-то пользоваться, производители делают огромную работу как при сборе и чистке данных для обучения, так и при генерации и валидации ответа. Пользователю этот шаг не виден, но в ИИ-помощниках (ChatGPT, Gemini, Grok) сырой ответ языковой модели проходит через множество стадий перепроверки и валидации, чтобы подправить самые вопиющие “выдумывания” и “галлюцинации”. И все равно гарантий нет».

«Даже современные большие языковые модели оставляют в тексте свой уникальный отпечаток: ключевые слова, отдельные формулировки, которые человек может даже не заметить. Но специальные алгоритмы на основе тех же моделей способны такие закономерности обнаружить.

Что касается маскировки знаков, метки “старого образца”, то есть невидимые символы, легко удалить в специальных редакторах. Более современные метки часто представляют собой определенное распределение слов, и его можно статистически проверить. Такие метки носят вероятностный характер и не дают гарантий, но их почти нельзя убрать, не переделав текст практически полностью».

«Машинный текст выдает сочетание нескольких признаков. Во-первых, он слишком гладкий и усредненный: предложения примерно одной длины, есть шаблонные связки вроде “важно отметить” и “в заключение”, мало деталей, за которыми стоит реальный опыт автора. В русскоязычных текстах добавляются кальки с английского и обороты вроде “давайте разберемся” и “не просто X, а Y”. Но ни один признак сам по себе ничего не доказывает: так же пишут и люди, а модели быстро учатся писать живее. Полезнее проверять, можно ли тексту доверять: указаны ли источники, подтверждаются ли факты, готов ли автор отвечать за свои утверждения».

«Полностью доверять детекторам, по моему мнению, нельзя. Риск ложноположительного результата слишком велик, поэтому они могут лишь давать рекомендации преподавателю. К тому же некоторые люди уже и сами начинают говорить как GPT, теми же фразами. Это очень забавно наблюдать вживую.

Типичная примета — конструкция “это не просто X, а Y”: “ИИ — это не просто инструмент, а настоящий партнер в творчестве”. Также в глаза бросаются чрезмерное “с одной стороны… с другой стороны…”, завершение выводом, когда контекст того не требует. Всегда заметен словарный запас, не характерный для этого человека в этой ситуации. В английском есть исследования о том, что после выхода ChatGPT резко выросло употребление определенных слов: delve, underscore, pivotal, crucial, meticulous, showcase. Это как если бы вдруг каждый работяга начал говорить как Лев Толстой. Есть и совсем старые артефакты, которые уже стали мемами: искусственная эмоциональная поддержка, избыточные метафоры, вовлекающее продолжение (“если хочешь, оформлю это как PDF…”)».

«Детектор не устанавливает авторство, а лишь оценивает вероятность того, что текст сгенерирован ИИ. Результат стоит рассматривать как повод изучить текст внимательнее, а не как окончательный вывод. Даже Turnitin (международная платформа для проверки академических текстов. — Прим. ред.) предупреждает, что инструмент может ошибаться и наказывать студента только на основании его отчета нельзя. В компаниях надежнее не искать ИИ-тексты постфактум, а заранее выстроить правила работы с ИИ: единый доступ к моделям, аудит запросов, разграничение прав».

«Сервис ZeroGPT пока крайне сырой. Я не раз проверял его на текстах, заведомо сгенерированных ИИ, и он не мог их определить, если предварительно придать им человечность с помощью специального промпта.

Пока разработчики ИИ не начнут встраивать в процесс генерации специальные водяные знаки, определить авторство текста будет крайне непросто. Поэтому мы разрабатываем альтернативный подход: анализируем цифровой след в процессе создания работы, а не проверяем уже готовый текст. Так можно оценить реальный вклад учащегося, даже если он использовал искусственный интеллект».

«Перспективы у подобных стартапов в России, мне кажется, огромные. Они нужны и медиа, и бизнесу, и госструктурам. Но поскольку я работаю в образовании, скажу о себе: такие инструменты мне очень нужны, их сейчас катастрофически не хватает».

«Перспектива есть, и разработки такие уже есть. ИИ-детекцию можно использовать в образовании, чтобы определять добросовестность студентов и школьников; в бизнесе, чтобы проверять ТЗ заказчиков и аналитические отчеты; на маркетплейсах, чтобы противодействовать спаму и мошенникам; в медиа, чтобы бороться с нейрослопом».

«Перспективы у подобных стартапов есть, но у более широкого класса решений, чем просто детекторы: у сервисов, которые проверяют достоверность контента, авторство и качество ИИ-генерации. Рынок узкого детектора в России, если оценивать честно, небольшой: это, скорее, функция, чем самостоятельный продукт. Большой рынок у систем управления корпоративным ИИ, где проверка текстов работает как один из модулей. Российскому стартапу разумнее заходить на рынок с комплексным решением под задачу конкретного заказчика, иначе его продукт рискует стать функцией чужой платформы».