Специалисты из компании Google продемонстрировали микроскоп с дополненной реальностью. Разработку, которая предназначена для гистологов, работающих с материалами биопсии, представили в виде доклада и статьи на ежегодной конференции Американской ассоциации по исследованию рака (American Association for Cancer Research, AACR) и рассказали о ней в блоге компании.
Детектирование метастаз в лимфоузлах на увеличении 10х
Важной особенностью разработки стало то, что для неё не обязательно строить новое «железо» — сам микроскоп. Новой нейросетью можно дополнить программное обеспечение цифровых микроскопов, уже имеющихся в наличии в клиниках и в исследовательских учреждениях. Во время изучения образца нейросеть сама анализирует изображение и обводит подозрительные области зелёным цветом на экране дополненной реальности.
Свёрточная нейросеть анализирует поле зрения микроскопа со скоростью 10 кадров в секунду, что позволяет ей «успевать», когда образец движется при смене увеличения. Прототип, получивший название «Микроскоп дополненной реальности» — Augmented Reality Microscope, ARM – работает при увеличениях 4-40х).
Схема работы системы и сам микроскоп
Тренировка нейросети проходила на размеченных изображениях двух типов: гистологических образцах рака предстательной железы и метастазах в лимфатических узлах. Первых типов картинок в тренировочном наборе было 285, вторых – 399. В итоге прототип научился определять метастазы в лимфатических узлах с вероятностью в 0,98, а рак простаты – с вероятностью 0,96 – то есть, с точностью 98 и 96 процентов соответственно.
Текст: Алексей Паевский
An Augmented Reality Microscope for Realtime Automated Detection of Cancer by PoHsuan (Cameron) Chen, Krishna Gadepalli, Robert MacDonald, Yun Liu, Kunal Nagpal, Timo Kohlberger, Greg S. Corrado, Jason D. Hipp, Martin C. Stumpe
Google AI Healthcare, Google Inc, Mountain View, CA, USA
Читайте материалы нашего сайта в Facebook, ВКонтакте и канале в Telegram, а также следите за новыми картинками дня в Instagram.