Рассказываем, как мобильные приложения научились распознавать проблемы с лёгкими, находить опасные родинки и заранее предупреждать о проблемах со зрением у детей.
Нейросеть слушает кашель
В «СберМедИИ» создали приложение AI Resp, которое проверяет человека на признаки COVID-19. Чтобы узнать результат, нужно указать симптомы, покашлять в микрофон, записать голос и дыхание. Дальше программа проанализирует данные и выдаст диагноз с точностью 82%.
Приложение можно скачать для Android и iOS.
Специалисты из «Сбера» создали нейронную сеть, которая определяет степень поражения лёгких по данным компьютерной томографии. Её применили для анализа кашля.
Чтобы обучить сеть, в «Сбере» разработали алгоритм, который преобразует звуковые файлы в картинки — спектрограммы. Затем использовали три тысячи записей голоса и кашля больных и здоровых людей вперемешку с посторонними шумами.
Как итог — умение отделять голос, дыхание и кашель с признаками COVID‑19 от других звуков. Для точности диагноза приложение просит рассказать о симптомах, которые типичны для коронавируса.
Изучает родинки
«ПроРодинки» обнаруживает злокачественные опухоли, которые похожи на родинки. Приложение умеет диагностировать базально-клеточный рак кожи и меланому с помощью искусственного интеллекта.
Нейросеть обучалась на 5 тысячах снимков родинок. Каждое из изображений оценили двое или больше врачей. В результате точность распознавания онкологических заболеваний составила 90%, что соответствует уровню хорошего врача-дерматолога.
Почти каждый снимок проверяет специалист. В сомнительных случаях оценку изображению дают только врачи. Их диагнозы также помогают нейросети улучшать свою работу.
Разработчики отмечают, что программа выдаёт только рекомендации и заменить врача не может.
Приложение можно скачать для Android и iOS.
И смотрит в глаза
Приложение CRADLE White Eye Detector выявляет глазные заболевания по фотографиям. Встроенная нейросеть обнаруживает на снимках лейкокорию, которая может быть началом развития катаракты, ретинобластомы и других опасных болезней.
Программа разработана специалистами Бэйлорского университета (США). Основное её предназначение — проверка детских глаз.
При съёмке в темноте со вспышкой часто проявляется эффект «красных глаз». Он говорит лишь о том, что свет вспышки отражается от кровеносных сосудов сетчатки. Но если у человека видны «жёлтые» или «белые» глаза, то это признак заболевания.
Приложение состоит из десяти нейронных сетей, каждая из которых получает снимок и проводит анализ благодаря алгоритму распознавания лейкокории. Результат большинства сетей — это окончательный диагноз.
Для обучения были использованы 53 тысячи изображений 40 детей с глазными заболеваниями и без.
По окончании тестов нейронная сеть показала точность 80%. При этом признаки заболеваний она находила на фотографиях, сделанных за полтора-два года до проявления видимых симптомов болезни.
Для постановки достоверного диагноза «лейкокория» алгоритму нужно просмотреть несколько фотографий одного и того же ребёнка.
Разработчики отмечают, что их программа не может заменить настоящего врача.
Приложение можно скачать для iOS.
Но «умные» приложения дают только рекомендации, а окончательный диагноз всё ещё остаётся за врачом.