Новая методика повысит креативность нейросети в разы

Исследователи из компании Midjourney и Нью-Йоркского университета разработали новый метод, который значительно расширяет творческие возможности языковых моделей. Для этого ученые ввели «метрики отклонения», измеряющие различия между текстами, созданными на основе одного и того же запроса.

Первые испытания показали впечатляющие результаты: модели с новой методикой обучения генерировали на 23% более разнообразные тексты, при этом качество снизилось всего на 5% согласно системе вознаграждений Reddit. Например, в одном из тестов нейросеть попросили написать текст, начинающийся с фразы «Почему ты дрожишь, любовь моя? Ты теперь король». Стандартная модель GPT-4o в основном создавала истории о нервных новых правителях, а модифицированная LLaMA 3.1 8B, несмотря на меньший размер, генерировала совершенно разные сюжеты — от фэнтези-историй о медведях-принцах до рассказов про подводные царства.

Исследователи сосредоточились на двух типах разнообразия: семантическом (разное содержание и сюжеты историй) и стилистическом (письмо в стиле различных авторов). Они разработали специальные версии для каждого типа, но обнаружили, что лучше всего работает их комбинация. Для исследования ученые использовали более 100 тыс. пар «запрос-ответ» из сообщества Reddit r/WritingPrompts и выяснили, что можно получить значительно лучшую вариативность с помощью всего четырех различных ответов на запрос.

Авторы работы отмечают некоторые открытые вопросы исследования. Например, ученые пока не знают, работает ли их метод за пределами творческого письма. Иными словами, подойдет ли он для написания технической документации и резюме. Эффективность техники в онлайн-средах обучения, которые используют многие крупные модели, также остается непроверенной. Сама система измерения качества вызывает вопросы: хотя голоса Reddit дают некоторое представление о качестве текста, они упускают важные факторы, такие как техническая точность и профессиональные стандарты письма.