Модель OpenAI смогла усовершенствовать другую нейросеть лучше человека
Нейросеть GPT-6 Astra в экспериментах продемонстрировала способность анализировать и изменять параметры других языковых моделей без использования градиентного обучения. Во время тестов алгоритм смог точечно отредактировать веса модели Qwen3.5−0.8B, что кратно увеличило точность решения математических задач.
Новый исследовательский подход получил название Weight-Space Programming. Его суть заключается в работе с числовыми параметрами нейросети напрямую. В рамках экспериментов Astra получала доступ к весам сторонних алгоритмов, описаниям стоящих перед ними задач, а в некоторых случаях — к инструментам на языке Python и проверкам поведения тестируемых систем.
Авторы исследования подчеркивают, что отсутствие классического дообучения в данном случае не исключает проведения вычислений, тестов и получения обратной связи.
Наиболее заметный практический результат был достигнут при работе с моделью Qwen3.5−0.8B, которая изначально страдала от зацикливания при генерации рассуждений. До вмешательства базовая версия алгоритма в 93% случаев упиралась в установленный лимит из 32 768 токенов и не могла завершить ответ.
Astra изучила веса модели, проверила свои гипотезы на математических задачах из тестов, после чего предложила точечную правку. Успешная сессия заняла около 20,3 часа.
При этом модель изменила лишь 0,016% от общего числа параметров, но смогла снизить долю незавершенных ответов в три раза. В итоге результат модели в тесте MATH-500 (500 сложнейших математических задач) выросла с 7,9% до 48,1%, а в GSM8K (8500 математических задач начальной школы) — с 13,8% до 67,1%.
Прирост метрик связан в первую очередь с устранением проблемы зацикливания и восстановлением способности алгоритма завершать ответы, а не с появлением у системы новых математических знаний.
Помимо исправления багов, Astra применялась для анализа архитектуры ИИ. Система смогла распознать назначение нейросетей, способных играть в игры Pong, Pac-Man, Breakout и Freeway, исключительно по их весам, а также создала с нуля аналогичные алгоритмы для других игр.
Однако аналогичная попытка улучшить математические способности модели Gemma 3 270M не дала значимого эффекта. Работа показала перспективный способ диагностики и локальной модификации нейросетей, но пока не доказала возможность самостоятельного бесконтрольного развития ИИ.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
