Как отличить перспективные медицинские стартапы от тупиковых: руководство для инвесторов и предупреждение для стартаперов
Одна из наиболее актуальных и перспективных медицинских задач — анализ изображений: уже очень скоро нейросети будут анализировать рентгеновские и томографические снимки, давать подсказки диагностам и рекомендации пациентам. Искусственный интеллект в медицине — это огромные возможности для инвесторов (McKinsey оценивает потенциал мирового рынка в $5-10 трлн) — и огромные риски: отличить перспективные проекты от тупиковых и мошеннических не просто. Сооснователь блокчейн-платформы для медицинских онлайн-консультаций Doctor Smart Павел Ройтберг рассказывает о своей методике распознавания бессмысленных медицинских стартапов. Пригодится всем, кто планирует инвестировать в проекты, связанные с использованием нейросетей (не только медицинские), — и тем, кто эти проекты делает и хочет произвести впечатление на потенциального инвестора.
Когда мы начали искать партнеров для своего стартапа и общаться с командами, выяснилось, что большинство из них просто не понимают, что делают. Мы хотели изучить рынок и найти коммерчески готовые технологии, но все оказалось сложнее. Поэтому спустя не один десяток встреч мы выработали свою методику общения с любыми командами в области искусственного интеллекта. Этот базовый набор вопросов поможет отличить пустословов и банальных аферистов от людей, ясно видящих свою цель, бизнес-нишу и понимающих, какие ресурсы им нужны для достижения успеха.
Главное
1
Команда
Кто из ее лидеров работал в реальных медицинских учреждениях, каких результатов добился и публиковался ли в международных (OK, хотя бы в российских) рецензируемых научных изданиях? От этого будет зависеть, насколько реалистичны представления этих людей о современной медицинской науке. Важно также знать, кто работал над нейросетями в других проектах и понимает, как делать свой.
2
Стадия проекта
Если это голая идея — просто идите дальше: на рынке уже есть около 10 проектов, которые на несколько стадий впереди. Риски с проектом на стадии идеи очень высоки. Если у проекта есть первые результаты (например договоры на необходимые данные, сами данные, работающая нейросеть, команда) — можно продолжать разговор.
3
Данные
Нужно узнать, из каких данных и что будет извлекать искусственный интеллект. Если вам рассказывают, что он будет анализировать истории болезни пациентов и находить новые пути лечения, — спросите, какие языки лингвистически умеет читать их нейросеть. Ответ зависим от рынка, на который планирует выходить стартап, но хороший набор языков включает русский, английский и, возможно, китайский. С кем из докторов обсуждалась гипотеза анализа? Важно, чтобы это были реальные практикующие врачи с хорошим опытом. Какова точность прочтения анамнеза (истории болезни)? Достаточна ли она для определения диагноза и симптомов? К примеру, самая известная нейросеть на планете — проект IBM Watson, в который было вложено более $6 млрд, — умеет понимать только английский язык, при этом точность семантического анализа не раскрывается.
Если это стартап, нацеленный на медицинские изображения или видео, то обязательно узнайте, каковы технические ограничения по снимкам/видео (формат файлов, размеры, скорость видеопотока, количество кадров в секунду, кодеки видеосжатия и т.п.). Из ответа должно быть понятно, что команда знает и понимает свои ограничения, но они не станут стопором коммерческого продукта. На чем нейросеть учили распознавать изображения? На чем проверяли правильность распознавания? Была ли контрольная проверка качества обучения модели, и кто ее верифицировал? Можете ли вы прийти со своим исследованием и посмотреть, как нейросеть его оценит?
4
Легальность данных
Были ли данные получены законным образом, и есть ли у команды права на их использование? Проверка легальности данных для обучения медицинских нейросетей — одна из самых важных задач инвестора. Если у команды нет договоров на использование данных в определенных целях, созданный на их основе продукт невозможно будет продать, — зато их владельцы могут подать в суд, требуя упущенную выгоду.
5
Объем данных
Сколько историй болезни было «скормлено» искусственному интеллекту:
меньше 10 тыс.? Команда еще даже не приступила к работе.
От 10 до 100 тыс.? С ними можно говорить, но с главными трудностями они еще не столкнулись.
От 100 тыс. до 1 млн? Интересный проект, но непонятно, почему у него нет денег: в этом случае due diligence нужно делать особенно внимательно.
Больше 1 млн? Это, скорее всего, серьезные ребята.
Знание предмета
Если команда, с которой вы общаетесь, успешно ответила на первые пять вопросов, стоит встретиться с ними и вживую задать следующие два, внимательно оценивая реакцию и знания.
6
Точность модели
Правильный ответ должен состоять из трёх цифр: генерализированная точность (сама по себе она на этом этапе не нужна, но покажет, что люди вас не обманывают и разбираются в предметной области), процент ложно-положительных и ложно-отрицательных оценок. Скорее всего, вам достанется еще 10-15 минут заранее подготовленной речи, но главное, что вы должны услышать, — понимает ли команда, как эти три показателя влияют на медицинское применение.
Самое важное здесь — ложно-отрицательные результаты: это когда нейросеть скажет больному человеку, что он здоров. Этот показатель должен быть минимальным: приемлемая теоретическая точность — от 98% до 99.99%. На сегодня в США ложно-отрицательная оценка визуальных исследований с подозрением на онкологию — 25%: четверть людей получает заключение, что они здоровы, хотя они больны, — и это у докторов-людей. От машин люди привыкли ожидать большей точности, а значит, к работе высокотехнологичного продукта требования заведомо выше. В продукт с точностью ниже 90% инвестировать бессмысленно.
7
Нозологии, диагнозы, симптомы
Какие нозологии (классификации болезней), диагнозы или симптомы знает нейросеть, сколько из них уверенно распознает? Сколько всего их существует в предметной области, сколько уверенно распознает врач-специалист в столице? А рядовой врач в регионе? Ответы на эти вопросы покажут вам, что команда хорошо понимает свою бизнес-нишу и видит для проекта реальный рынок. Ведь если обычный врач справляется с задачей определения открытого перелома с вероятностью 100%, то для такого проекта просто нет рынка.
Обязательно проверьте ответы у специалиста из здравоохранения, которому вы доверяете настолько, что готовы инвестировать под его заключение.
На засыпку
Давайте зададим нашему гипотетическому стартапу еще несколько вопросов посложнее. На них команда уже не обязана ответить, но то, насколько легко они будут ориентироваться в предметной области, немало скажет об их перспективности. Итак: какие целевые рынки рассматривает стартап? Вопрос с подвохом: большинство назовут США, и это откроет для вас окно для вопросов-убийц.
Насколько человеко-читаем отзыв нейросети? Можно ли им пользоваться без специального обучения?
Какие языки написания отзыва знает их программное обеспечение? Русский? Английский?
Соответствует ли формат написания отзыва американским стандартам по совместимости истории болезни? В ответ надо ожидать рассказ о том, каким гайдлайнам ISA и NIEM соответствует отзыв стартапа.
Использует ли ПО стартапа при написании отзыва словарь выражений американского стандарта?
PS для стартаперов
Вопросы, приведенные выше, — примерно треть нашей «методички» по оценке медицинских нейросетей, но если рассматриваемый стартап все это умеет — в него стоит инвестировать.
Стартовые инвестиции на рынке медицинских услуг на порядок больше, чем, например, в интернет-бизнесе, и бизнес-ангелы здесь совсем другие. Ведь медицинские стартапы решают очень сложные задачи, которые не могут решить на протяжении десятилетий ученые с мировыми именами; вероятность не добиться успеха здесь очень велика — а потому велика и стоимость входного билета.
Однако деньги решают не всё: даже если у стартапа есть капитал на первые шаги, он не сможет развиваться без связей в сфере здравоохранения. Чтобы получить доступ к медицинской информации — например легально приобрести данные для исследований, — нужно быть из медицинской среды: «с улицы» в нее попасть невозможно.
