Учёные Лаборатории искусственного интеллекта и Центра индустрии здоровья Сбербанка начали разработку GigaPevt — мультимодального медицинского диагностического ассистента на базе большой языковой модели GigaChat. Этот проект был анонсирован на технологической конференции GigaConf.
GigaPevt сочетает бесконтактные методы измерения медицинских параметров с диалоговыми возможностями современных языковых моделей. Первый компонент технологии использует дистанционную фотоплетизмографию для оценки ключевых социодемографических показателей и медицинских параметров, таких как индекс массы тела, по видеоизображению лица. Второй компонент, основанный на модели GigaChat, помогает выстраивать и проводить сценарии медицинской консультации.
Технология обладает значительным потенциалом для применения в телемедицине, автоматизируя рутинные этапы приёмов и повышая эффективность работы врачей.
Научная работа, описывающая технологию GigaPevt, опубликована в открытом доступе. Демонстрация технологии состоится в августе 2024 года на конференции по искусственному интеллекту IJCAI в Южной Корее.
Сергей Жданов, директор Центра индустрии здоровья Сбербанка, отметил, что внедрение искусственного интеллекта в медицину является важной задачей, способствующей улучшению качества медицинской помощи. Одним из таких проектов является цифровой помощник врача «ТОП-3», который анализирует жалобы пациента и предлагает три наиболее вероятных диагноза из 265 возможных. Этот сервис, уже работающий в 10 регионах России, помог поставить 20 миллионов предварительных диагнозов.
Нейросетевая модель GigaChat успешно сдала экзамен на врача по направлению «лечебное дело» после обучения у специалистов Центра имени Алмазова. В настоящее время модель углубляет свои знания в конкретных областях медицины в сотрудничестве с Санкт-Петербургским медицинским университетом имени Павлова. Жданов подчеркнул, что команда постоянно работает над совершенствованием модели и внедрением новых технологий искусственного интеллекта в медицину, и GigaPevt станет важным вкладом в эту работу.