Ученые назвали главную проблему медицинских нейросетей

Современные модели искусственного интеллекта (ИИ) сталкиваются с серьезной проблемой: они плохо распознают отрицания, такие как слова «нет» и «не». Это может иметь катастрофические последствия, особенно в медицинской сфере. Например, медицинский ИИ может неверно интерпретировать рентгеновский снимок с пометкой «нет признаков пневмонии», приняв его за снимок с признаками заболевания. Такая ошибка ставит под угрозу точность диагнозов и правильность выбора лечения, если врачи будут полагаться на помощь ИИ.

Исследователи из Массачусетского технологического института (MIT) оценили, насколько хорошо различные модели ИИ понимают отрицания в подписях к изображениям и видео, включая медицинские снимки. Они протестировали 10 версий модели CLIP от OpenAI и более новую модель AIMV2. В одном из тестов моделям предлагалось найти на изображениях определенные объекты, но не обращать внимания на другие. Успешность выполнения таких задач снижалась с 80% до 65% и ниже при наличии отрицаний.

В другом тесте ИИ должен был выбрать наиболее точную подпись к изображению из нескольких вариантов, часть из которых содержала отрицания. Например, для рентгеновского снимка предлагались подписи «есть признаки пневмонии» и «нет пневмонии». Лучшие модели показали точность около 40% или ниже в задачах с отрицанием, что является крайне низким показателем для таких критически важных приложений. Это указывает на предвзятость подтверждения у ИИ – нейросети склонны игнорировать слова-отрицания и предполагать наличие объектов.

Проблема заключается в том, что модели-трансформеры, лежащие в основе многих современных ИИ, хорошо улавливают контекстно-зависимые значения слов, но слова-отрицания могут появляться в разных частях предложения и работают независимо от контекста. Это затрудняет их правильное понимание. В клинических приложениях точное распознавание отрицаний критически важно для правильной характеристики состояния пациента и исключения неверных диагнозов. Существующие решения, такие как специальное обучение моделей на примерах с отрицаниями, улучшают производительность лишь незначительно (на 10-30%) и не решают фундаментальную проблему.

С точки зрения бизнеса, эта проблема представляет собой серьезное препятствие для широкого внедрения ИИ в медицине и других областях, где точность интерпретации информации критична. Компании, разрабатывающие медицинские ИИ-системы, должны инвестировать в исследования, направленные на фундаментальное решение проблемы распознавания отрицаний.