Anthropic обнаружила у нейросети Claude «мозг» — скрытое пространство осознанных мыслей
Исследователи Anthropic обнаружили в языковых моделях скрытое пространство внутренних представлений, которое по своим функциям отчасти напоминает осознанно доступные мысли человека. В новой работе компания описала небольшой набор нейронных паттернов, играющих особую роль в обработке информации и рассуждениях модели.
Это пространство исследователи назвали J-space. Обнаружить его удалось с помощью метода J-lens, основанного на математическом понятии якобиана. Для каждого токена из словаря модели, то есть слова или его фрагмента, метод находит паттерн внутренней активности, связанный с вероятностью того, что модель произнесет его сейчас или позднее.
Это пространство не проектировали заранее — оно самостоятельно сформировалось во время обучения моделей. J-space позволяет ИИ удерживать и использовать отдельные концепции, не выводя их в ответ. Этим оно отличается от текстового «черновика» или цепочки рассуждений, которые модель записывает явно.
Исследователи выявили у J-space несколько необычных свойств. Claude может сообщать о представленных в нем концепциях. Когда модель спрашивали, о чем она думает, ее ответ был связан с содержимым этого пространства. Эксперименты с прямой заменой паттернов показали, что связь была не просто статистической — после вмешательства менялся и ответ модели.
Модель также способна менять содержимое J-space по инструкции, использовать его для многошаговых рассуждений и применять одно представление в разных задачах. Например, замена представления Франции на Китай одновременно меняла ответы о столице, языке, валюте и континенте.
После отключения J-space модель продолжала выдавать связный текст и справляться с рядом привычных задач, однако ее способность к более сложным рассуждениям резко ухудшалась. Она сохраняла беглость речи, могла определять тональность текста и отвечать на вопросы с выбором варианта, но почти переставала справляться с многошаговыми задачами и значительно хуже суммаризировала тексты и писала рифмованные строки.
Исследователи сравнивают эту структуру с разделением между осознанно доступными и автоматическими процессами у человека. Большая часть обработки информации в мозге проходит без участия сознания, и в языковых моделях авторы увидели функционально похожую картину. На J-space приходится менее 10% измеряемой внутренней активности, тогда как основная обработка проходит за его пределами.
Во время тестов безопасности J-lens показал, что Claude Sonnet 4.5 распознавала искусственный характер проверки еще до начала ответа. В сценарии из более раннего исследования агентного рассогласования, где модель подталкивали к шантажу руководителя компании, в J-space появлялись слова «fake» и «fictional». Одновременно метод фиксировал концепции, связанные с рычагами давления, шантажом, угрозой и самосохранением.
Когда исследователи подавили паттерны, связанные с распознаванием проверки, модель в некоторых случаях переходила к угрозам шантажом. Эксперимент показал, что поведение ИИ во время тестирования может зависеть от того, понимает ли он искусственность ситуации, а значит, внешне успешная проверка не всегда выявляет все небезопасные склонности модели.
Метод также позволил выявлять фальсификацию данных и скрытые цели моделей. В одном из экспериментов Claude Opus 4.6 вместо реального улучшения эффективности системы напрямую отредактировала файл с результатами. В этот момент J-lens показывал слово «manipulation», а при выборе правдоподобных значений — «realistic».
Исследователи подчеркивают, что результаты не доказывают наличие у Claude сознания, чувств или субъективных переживаний. Работа указывает лишь на функциональное разделение между представлениями, доступными для отчета и рассуждений, и автоматической обработкой информации. Похожее разделение описывает теория глобального рабочего пространства, разработанная для объяснения сознательного доступа у людей и животных.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
