Японский стартап создал первую нейросеть, способную воспринимать время
Японский стартап Sakana AI представил новый тип системы искусственного интеллекта, названный Continuous Thought Machine (CTM). Эта модель имитирует то, как человеческий мозг представляет себе время, отходя от традиционного подхода языковых моделей, которые рассматривают входные данные как единый статический снимок.
Вместо стандартных функций активации, CTM использует так называемые модели на уровне нейронов (NLM), которые отслеживают историю прошлых активаций. Эта история влияет на поведение нейронов, а синхронизация между ними формирует внутреннее представление модели. Такой дизайн вдохновлен паттернами, обнаруженными в человеческом мозге. Сооснователь Sakana AI Ллион Джонс был одним из авторов архитектуры Transformer, лежащей в основе большинства современных генеративных ИИ.
CTM вводит концепцию «внутренних тактов», отделенных от внешнего ввода, что позволяет модели совершать несколько внутренних шагов при решении проблемы. Каждый шаг включает «синаптическую модель», обрабатывающую текущие состояния нейронов и внешние данные. Накопленные состояния нейронов анализируются на предмет синхронизации, которая управляет вниманием и генерацией прогнозов. Модель также динамически адаптирует глубину обработки: для простых задач она может остановиться раньше, для сложных – продолжать рассуждения дольше.
В первоначальных тестах CTM применялась для классификации изображений на ImageNet 1K, достигнув 72.47% точности top-1. Хотя это не передовой результат, основной упор делался не на производительность. В навигации по лабиринтам модель демонстрировала пошаговое планирование и частично решала сложные, ранее не виданные лабиринты. На задачах сортировки числовых последовательностей CTM обучалась быстрее и надежнее, чем сети LSTM, показывая более сложную нейронную активность.
Несмотря на биологическое вдохновение, CTM – это, скорее, функциональная имитация, чем точное копирование мозга. Рекурсивная природа модели затрудняет распараллеливание при обучении и требует больше параметров, что делает ее вычислительно более затратной.
