Агент Inherent на базе Qwen обошел GPT-5.5 и Claude в тесте на воспроизведение экспериментов
Лондонская ИИ-лаборатория Inherent представила агента Faraday, который, по данным компании, в ее собственном тесте Replica набрал больше баллов, чем GPT-5.5 от OpenAI и Claude Opus 4.8 от Anthropic. Тест проверяет не научные способности в целом, а умение восстанавливать отдельные эксперименты по опубликованным работам. Сам Faraday построен на модели Qwen3.6−27B с 27 млрд параметров, однако работает не в одиночку: написание кода он поручает GPT-5.5 Codex.
Для обучения и проверки Faraday компания Inherent создала набор Replica из 310 заданий, основанных на 100 работах по машинному обучению и применению ИИ в науке. В каждом задании агент получал текст научной статьи, из которого был удален один график с результатами. Faraday должен был восстановить стоящий за ним эксперимент: разобраться в методике, выбрать последовательность действий, написать код и получить сопоставимый результат при ограниченных времени и вычислительных ресурсах.
В Inherent считают, что для такой работы недостаточно знать готовые научные методы и уметь писать код. Поэтому Faraday дообучали с подкреплением на длинных цепочках действий, оценивая его решения по отдельным критериям для каждого задания — от качества дизайна эксперимента до соответствия выводам исходной работы. Так разработчики пытаются сформировать у агента то, что называют «исследовательским вкусом»: способность выбирать осмысленные эксперименты, выстраивать их в нужной последовательности и не подменять воспроизведение исследования внешне похожим графиком.
Faraday при этом не делает всю работу сам: он выстраивает ход исследования, а написание кода поручает GPT-5.5 Codex. Во время обучения агент работал с GPT-5.4-mini, а на этапе тестирования смог переключиться на более мощный GPT-5.5 Codex без переобучения. В Inherent сравнивают такую связку с работой ученого, который пользуется готовыми программами и сервисами, вместо того чтобы каждый раз создавать их с нуля.
Пока опубликованные результаты Faraday относятся к воспроизведению отдельных вычислительных экспериментов и графиков из уже вышедших работ. В перспективе Inherent хочет создать на этой основе агента, который сможет сам выбирать научные задачи, планировать эксперименты и искать новые результаты. Однако Replica еще не проверяет способность делать открытия: тест оценивает качество воспроизведения уже известной работы.
Inherent основали бывшие сотрудники Google DeepMind. В мае компания вышла из режима скрытности и привлекла $50 млн посевного финансирования. Сейчас в стартапе работают около 12 человек.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
