Компания «Цельс» разрабатывает систему машинного обучения для анализа компьютерных томограмм и рентгенограмм легких, мозга и груди, которая выявляет смертельно опасные заболевания на ранних стадиях. Проект получил премию «Технологический прорыв — 2021» Платформы НТИ и инвестиции Венчурного фонда НТИ — 180 миллионов рублей. Как системы «Цельса» помогают врачам и пациентам, разобрались сооснователи компании Евгений Никитин и Никита Николаев. Им слово.
Нашли полезные контакты
До «Цельса» у нас был стартап. Мы разрабатывали модели кредитного скоринга для финансовых организаций. Поэтому был опыт и работы с технологиями, и ведения бизнеса. В 2017 году познакомились с Артемом Капнинским из Калуги и его командой. У них было много полезных контактов со стороны медицины. Так появилась совместная идея сделать что-то, связанное с искусственным интеллектом в сфере медтеха.
Без полезных контактов в медтехе практически делать нечего.
Наши коллеги жаловались, что на предложения о сотрудничестве в медучреждениях им отвечают: «Покажите то, что уже работает, а потом поговорим». Нам повезло — нас слушали с самого начала, смотрели, что мы делаем, и на первых порах удивлялись, как такое вообще возможно.
Поэтому один из главных факторов нашего успеха — это то, что нам удалось объединить наши компетенции и экспертность партнеров в медицине. Поэтому получалось даже на начальных этапах создать отличающийся от всех конкурентов продукт.
Выбрали самые популярные исследования
Первая цель была — сделать систему, которая поможет обнаруживать рак молочной железы. Потому что на ранней стадии есть очень высокие шансы избавиться от этого заболевания. А для нас было важно придать максимальную ценность нашему продукту.
Потом появилась система анализа флюорографических и рентгеновских снимков легких. Заниматься анализом трехмерных данных нас отчасти простимулировал коронавирус. Затем добавили снимки мозга. Исследования этих органов проводят часто, а значит, можно получить много снимков для обучения системы и стать полезными для врачей. Если заболевание редкое, машине сложно превзойти узконаправленных специалистов.
Нашли источники данных
Мы обучаем наши системы, загружая в нейронную сеть большой объем данных. Искусственный интеллект находит в них общие паттерны и учится интерпретировать данные под конкретную задачу.
Первый — публичные датасеты. По лицензии основную их массу нельзя использовать в разработке коммерческих продуктов. Поэтому мы их используем не для обучения и не для разработки, а чтобы протестировать систему. Большая часть датасетов зарубежная. В России с недавних пор они тоже создаются, и есть условия, на которых их можно использовать в разработке.
Второй — выгрузки из медучреждений. Их можно использовать на определенных условиях, обычно это юридически сложно. В рамках московского эксперимента нам предоставляли данные в виде фидбэка. Это список исследований и заключение врача: согласен он с результатом работы нашей системы или нет. Такие данные тоже можно использовать для обучения и для оценки модели.
Третий — наша собственная команда разметки. Сейчас это наш основной источник данных. Мы сотрудничаем с большим пулом врачей. Отбираем снимки, и врачи на них размечают в специальном софте области интереса: злокачественные и доброкачественные образования, другие патологии.
Обнаружили проблемы работы с датасетами
С готовыми датасетами работать непросто — у каждого из них свои особенности: источники данных, оборудование и его настройки, кто и как размечал и так далее.
Разное оборудование. В разных организациях стоит разное оборудование, а еще оно может быть по-разному настроено. Обучив модель на одном типе данных, вы не можете быть уверены, что она будет работать на снимках с другого аппарата.
Человеческий фактор. Лаборанты могут по-разному размещать пациентов перед исследованиями и просто делать ошибки. Например, уложить грудь так, что разные участки изображения будут наслаиваться друг на друга.
Разные классы. Например, в одном датасете учитывают новообразования, кальцинаты и утолщения кожи, а в другом то же самое, но без утолщений, а в третьем вообще нет пообъектной разметки, только информация о диагнозе: рак или нет.
Слабая разметка. В датасетах чаще всего используют разметку на наличие или отсутствие патологии, потому что делать разметку на объект с локализацией и координатами сложно и дорого. В лучшем случае написан только сам диагноз.
Самая большая проблема в том, что по одному снимку в большинстве случаев очень сложно поставить точный диагноз. Часто диагноз зависит от квалификации и опыта врача. И тогда появляется вопрос: как мы хотим научить алгоритм распознавать заболевание, если у нас на один снимок пять разных врачебных мнений?
То есть разные врачи еще могут разную пользу извлекать из этого алгоритма. Если врач высококвалифицированный, он будет использовать систему для самопроверки в тех случаях, когда он не уверен, нужно второе мнение. Если врач неопытный, он может что-то вообще на снимках пропустить, и тогда алгоритм подскажет, на что обратить внимание.
Научились работать с проблемами
Наша ключевая компетенция: мы находим способ, как эти разношерстные данные оптимально использовать для обучения и тестирования модели. Чтобы получать эффективные алгоритмы, которые реально могут помочь врачам поставить диагноз быстрее и без ошибок.
Все нюансы работы с данными мы должны учесть при разработке и обучении, чтобы система работала устойчиво и независимо от внешних помех. Это называется робастность, или устойчивость. Вот что помогает нам ее обеспечить.
Отбор врачей и проверка их работы. Сначала нужно отобрать врачей. Оказалось, что квалификации и опыта недостаточно. Важны также усидчивость и внимательность. А еще — чтобы врач не был усталым и у него был большой монитор с высоким разрешением. Чтобы обеспечить высокий уровень разметки, мы встроили в систему автоматический контроль качества.
Написание инструкций. Для каждого нового проекта мы пишем инструкцию и просим врачей разметить по ней снимки. Затем анализируем, почему результат отличается от контрольного. Это помогает нам дорабатывать инструкции, чтобы устранить противоречия.
Модуль для отбора изображений. Опытным путем мы обнаружили ряд проблем, связанных с медицинскими данными. Например, мы понятия не имели, что в нашу систему могут залетать снимки, на которых изображены не человеческие органы, а какие-то бутылки, банки, сумки. Позже мы узнали, что их ставят для проверки оборудования. И все снимки автоматически направляют нам в систему. Если ИИ на таком снимке сделает заключение «обнаружен рак легких» и врач потом это увидит, он не будет доверять результатам нашей системы и искусственному интеллекту в целом. Поэтому мы встроили модуль, который автоматически определяет, надо обрабатывать это изображение или нет.
Так методом проб и ошибок, используя мониторинг, разговаривая с врачами и исследуя датасеты, мы построили иерархию проблем и ситуаций, которые могут встретиться.
Отобрали лучших радиологов
В сентябре 2020 года мы запустили проект #ВызовРадиологу. В первом запуске собрали 100 заявок от врачей, которые хотят с нами сотрудничать. И предложили им проанализировать 100 снимков, в половине из которых были злокачественные образования. В первую очередь мы выбирали исследования, в которых нейронная сеть больше всего сомневалась.
В финал вышли 16 специалистов. Мы предложили им выполнить разметку на объекты с выделением контура предполагаемого новообразования. Смотрели, насколько четко врач соблюдает написанные нами инструкции.
В результате первого запуска из 100 радиологов с нами остались пять, которым мы предложили сотрудничество за деньги.
В России такой проект проводился впервые. Это был полезный опыт и для нас, и для врачей. Медицинские учреждения делились своими потребностями, консультировали, оценивали релизы первых версий наших систем. На сегодняшний момент в отборе поучаствовали 186 радиологов. И 19 лучших работают с нами по сей день.
Участвовали в московском эксперименте
С марта 2020 года мы участвуем в эксперименте Департамента информационных технологий центра диагностики и телемедицины. Он стал одной из главных активностей, которая очень подстегнула наше развитие. На старте у нас было очень мало возможностей попробовать работу систем на реальных пациентах и данных. А в ходе эксперимента мы смогли подключаться к клиникам через ЕМИАС, отработать наш продукт на исследования реальных пациентов и получить обратную связь от практикующих специалистов.
В итоге все наши системы прошли калибровочное тестирование и полноценно работают. В этом проекте клиники сами выбирают продукты, с которыми хотят работать. Каждый месяц из 100 с лишним клиник нас выбирают около половины.
Если в начале эксперимента врачи скептически относились к искусственному интеллекту, то за 2020 год показатель недоверия снизился в два с лишним раза.
Ждем закона об искусственном интеллекте
Законодательство в этой сфере активно формируют. Ситуация стремительно меняется. Сейчас в рамках эксперимента пациент выступает только источником данных. Напрямую мы с ним не контактируем и не оповещаем его о применении ИИ. В системах стоит модуль анонимизации, который удаляет все персональные данные, поэтому все данные для нас обезличенны.
Те, кто не доверяют ИИ, как правило, просто недооценивают объем технологий, которые сопровождают нашу жизнь каждый день. Например, машинное обучение используется в кредитном скоринге — решение о конкретном займе принимает машина, а не человек. С утра мы берем в руки смартфоны, открываем новостные ленты или соцсети и даже не задумываемся, что информацию нам подбирают обученные алгоритмы.
Мы не хотим торопиться. Для начала нужно получить доверие медицинского сообщества, довести все наши системы до уровня, на котором они могут принести реальную экономическую и социальную пользу. А потом можно будет доносить до пациентов, как ИИ может помочь им оставаться здоровыми и дольше жить.
Получили признание в России и мире
Весной 2021 года мы стали первыми в России среди медицинских систем на базе технологий искусственного интеллекта, кто получил регистрацию Росздравнадзора по третьему, наивысшему классу опасности. Теперь наши системы можно применять в клинической практике.
И летом того же года мы получили регистрацию CE Mark — знака соответствия качества требованиям Евросоюза. Мы проделали большую работу по подготовке к клиническим испытаниям. Все процедуры заняли 1,5–2 года. Сертификат дает возможность работать не только в рамках Европейского Союза, но и в ряде стран Африки и Персидского залива.
Еще одно достижение в движении за границу — подписали соглашение о сотрудничестве с Министерством здравоохранения Узбекистана. Мы сможем внедрить свои системы в медучреждения республики и обучить врачей с ними работать.
Получили поддержку АСИ, НТИ и Сколково
С АСИ мы начали контактировать через Смартеку, масштабирование практик в области искусственного интеллекта и цифровизацию здравоохранения. В 2021 году мы прошли отбор в Лабораторию цифровизации здравоохранения и поучаствовали в программе Go Global. На встрече с торговым представителем России в Сингапуре Александром Свининым обсудили возможности выхода на азиатские рынки.
В конце 2020 года в наши проекты инвестировал венчурный фонд Kama Flow при Платформе НТИ. На выделенные 180 миллионов рублей мы расширяем список типов анализируемых изображений и данных, повышаем точность заключений, добавляем новые способы исследований. С НТИ нас связывает и интенсив Архипелаг 2121, где мы выступили с докладами и лекциями. Один из них — «Жизненный цикл ML-систем: от идеи до продакшена».
