ИИ проверят на способность разрабатывать новые лекарства, а не просто проходить тесты
Американская компания Insilico Medicine запустила новый бенчмарк для оценки искусственного интеллекта в разработке лекарств. Он должен показать, способны ли современные модели принимать реальные научные решения, а не только давать правильные ответы на знакомые вопросы.
Проблема существующих тестов в том, что многие из них используют общедоступные данные, которые могли попасть в обучающие выборки ИИ. Поэтому высокие результаты не всегда означают, что модель способна решать новые научные задачи. Insilico предлагает проверять ИИ на отфильтрованных наборах данных и задачах, основанных на реальном опыте компании в разработке препаратов.
DDD Benchmark оценивает модели на разных этапах создания лекарств — от понимания биологии заболевания и поиска перспективных соединений до прогнозирования свойств молекул, планирования химического синтеза и выбора кандидатов для доклинических исследований. Результаты разных систем можно будет сравнивать между собой, в том числе через публичную таблицу лидеров.
Основой для нового теста стал опыт Insilico в разработке лекарств с помощью ИИ. За время работы компания выдвинула 31 кандидата для доклинических исследований и получила более 10 разрешений на проведение клинических испытаний. Один из разработанных с помощью ИИ препаратов — рентосертиб (ISM001-055) для лечения идиопатического легочного фиброза — уже достиг III фазы клинических испытаний.
В компании считают, что отрасли нужны более строгие критерии оценки ИИ. Важен не сам факт того, что модель способна убедительно ответить на научный вопрос, а то, может ли она последовательно принимать решения, которые подтверждаются в лаборатории и клинических исследованиях.
Для фармацевтики это особенно важно: ошибки на ранних этапах разработки могут стоить компаниям лет работы и больших инвестиций. Поэтому способность ИИ находить действительно новые и перспективные препараты, а не воспроизводить уже известные знания, становится одним из ключевых критериев его практической ценности.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
