Приложение MoodCapture открывает двери для цифровой поддержки психического здоровья в режиме реального времени.
Исследователи из Дартмута сообщают, что они разработали первое приложение для смартфонов, которое использует искусственный интеллект в сочетании с программным обеспечением для обработки изображений лица, чтобы надежно обнаружить начало депрессии еще до того, как пользователь поймет, что что-то не так.
Приложение под названием MoodCapture использует переднюю камеру телефона для захвата выражения лица человека и окружения во время регулярного использования, а затем оценивает изображения на наличие клинических признаков, связанных с депрессией. В исследовании 177 человек с диагнозом «большое депрессивное расстройство» приложение правильно определило ранние симптомы депрессии с точностью 75%.
Эти результаты предполагают, что технология может стать общедоступной в течение следующих пяти лет при дальнейшем развитии, говорят исследователи, работающие на факультете компьютерных наук и медицинской школе Гейзеля .
Команда опубликовала свои выводы в базе данных препринтов arXiv 27 февраля, прежде чем представить их на конференции Ассоциации вычислительной техники CHI 2024 в мае. Доклады, представленные на CHI, проходят рецензирование перед принятием и будут опубликованы в материалах конференции.
«Это первый случай, когда естественные изображения «в дикой природе» используются для прогнозирования депрессии», — говорит Эндрю Кэмпбелл , автор-корреспондент статьи и профессор компьютерных наук Альберта Брэдли 1915 года. «Существует движение за цифровые технологии психического здоровья, которые в конечном итоге позволят создать инструмент, который сможет прогнозировать настроение у людей с диагнозом большая депрессия надежным и ненавязчивым способом».
«Люди используют программное обеспечение для распознавания лиц, чтобы разблокировать свои телефоны сотни раз в день», — говорит Кэмпбелл, чей телефон недавно показал, что он делал это более 800 раз за неделю.
«MoodCapture использует аналогичный технологический конвейер технологии распознавания лиц с аппаратным обеспечением глубокого обучения и искусственного интеллекта, поэтому существует огромный потенциал для масштабирования этой технологии без каких-либо дополнительных затрат или нагрузки на пользователя», — говорит он. «Человек просто разблокирует свой телефон, а MoodCapture знает динамику его депрессии и может предложить ему обратиться за помощью».
Для исследования приложение сделало 125 000 изображений участников в течение 90 дней. Участники исследования согласились на то, чтобы их фотографии были сделаны на переднюю камеру телефона, но не знали, когда это произошло.
Цитата: " Я считаю, что подобная технология может стать доступной для общественности в течение пяти лет. Мы показали, что это осуществимо."
АТРИБУЦИЯЭНДРЮ КЭМПБЕЛЛ, АЛЬБЕРТ БРЭДЛИ, 1915 Г., ПРОФЕССОР ИНФОРМАТИКИ ТРЕТЬЕГО ВЕКА
Первую группу участников запрограммировали MoodCapture для распознавания депрессии. Их сфотографировали случайными сериями с помощью фронтальной камеры телефона, когда они ответили на заявление: «Я чувствовал себя подавленным, подавленным или безнадежным». Подсказка взята из опросника о состоянии здоровья пациента, состоящего из восьми пунктов, или PHQ-8, который используется врачами для выявления и мониторинга большой депрессии.
Исследователи использовали ИИ для анализа изображений на этих фотографиях, чтобы прогнозирующая модель MoodCapture могла научиться соотносить самоотчеты о чувстве депрессии с конкретными выражениями лица, такими как взгляд, движение глаз, положение головы и ригидность мышц, а также особенностями окружающей среды, такими как как доминирующие цвета, освещение, места съемки и количество людей на изображении.
Идея заключается в том, что каждый раз, когда пользователь разблокирует свой телефон, MoodCapture анализирует последовательность изображений в режиме реального времени. Модель искусственного интеллекта устанавливает связи между выражениями лиц и деталями фона, которые оказались важными для прогнозирования тяжести депрессии. Со временем MoodCapture определяет особенности изображения, характерные для пользователя. Например, если кто-то постоянно появляется с унылым выражением лица в тускло освещенной комнате в течение длительного периода времени, модель ИИ может сделать вывод, что у этого человека наступает депрессия.
Чтобы протестировать прогностическую модель, исследователи попросили отдельную группу участников ответить на один и тот же вопрос PHQ-8, пока MoodCapture их фотографировала. Программное обеспечение проанализировало эти фотографии на наличие признаков депрессии на основе данных, собранных из первой группы. Именно во второй группе ИИ MoodCapture правильно определил, были ли они в депрессии или нет с точностью 75%.
«Это демонстрирует путь к мощному инструменту для пассивной оценки настроения человека и использования данных в качестве основы для терапевтического вмешательства», — говорит Кэмпбелл, отмечая, что точность в 90% будет порогом работоспособности датчика. «Я считаю, что подобная технология может стать доступной для общественности в течение пяти лет. Мы показали, что это осуществимо».
MoodCapture справляется с серьезной депрессией в нерегулярные временные рамки, в которых она возникает, говорит Николас Джейкобсон , соавтор исследования и доцент кафедры биомедицинских данных и психиатрии в Дартмутском центре технологий и поведенческого здоровья .
«Многие из наших терапевтических вмешательств при депрессии сосредоточены на более длительных периодах времени, но эти люди испытывают приливы и отливы в своем состоянии. Традиционные оценки упускают большую часть того, что такое депрессия», — сказал Джейкобсон, руководитель лаборатории искусственного интеллекта и психического здоровья: инновации в сфере здравоохранения, управляемой технологиями (AIM HIGH) .
«Наша цель — зафиксировать изменения симптомов, с которыми люди, страдающие депрессией, сталкиваются в повседневной жизни», — говорит Джейкобсон. «Если мы сможем использовать это, чтобы предсказать и понять быстрые изменения симптомов депрессии, мы в конечном итоге сможем предотвратить их и лечить. Чем больше мы можем быть в данный момент, тем менее глубоким будет воздействие депрессии».
Джейкобсон ожидает, что такие технологии, как MoodCapture, могут помочь сократить значительный разрыв между тем, когда люди с депрессией нуждаются в вмешательстве, и реальным доступом, который они имеют к ресурсам психического здоровья. По его словам, в среднем менее 1% жизни человек проводит с врачом, например, психиатром. «Цель этих технологий — обеспечить большую поддержку в режиме реального времени, не создавая дополнительной нагрузки на систему ухода», — говорит Джейкобсон.
По словам Джейкобсона, приложение искусственного интеллекта, такое как MoodCapture, в идеале предлагало бы превентивные меры, такие как выход на улицу или встречу с другом, вместо того, чтобы явно информировать человека о том, что он, возможно, впадает в состояние депрессии.
«Если вы расскажете кому-то о том, что с ним происходит что-то плохое, это может ухудшить ситуацию», — говорит он. «Мы думаем, что MoodCapture открывает двери для инструментов оценки, которые помогут обнаружить депрессию за мгновение до того, как она ухудшится. Эти приложения должны сочетаться с вмешательствами, которые активно пытаются разрушить депрессию до того, как она распространится и разовьется. Чуть больше десяти лет назад такой тип работы был бы невообразим».
Исследование основано на гранте Национального института психического здоровья, который возглавляет Джейкобсон, который изучает использование глубокого обучения и пассивного сбора данных для выявления симптомов депрессии в режиме реального времени. Оно также основано на исследовании 2012 года, проведенном лабораторией Кэмпбелла, в ходе которого были собраны пассивные и автоматические данные с телефонов участников Дартмута для оценки их психического здоровья.
Но с тех пор развитие камер смартфонов позволило исследователям четко снимать пассивные фотографии, которые можно было бы сделать при обычном использовании телефона, говорит Кэмпбелл. Кэмпбелл — директор по новейшим технологиям и анализу данных в Центре технологий и поведенческого здоровья, где он возглавляет команду по разработке мобильных датчиков, которые могут отслеживать такие показатели, как эмоциональное состояние и производительность труда, на основе пассивных данных.
Новое исследование показывает, что пассивные фотографии являются ключом к успешным мобильным терапевтическим инструментам, говорит Кэмпбелл. Они улавливают настроение точнее и чаще, чем селфи, созданные пользователями, и не отпугивают пользователей, требуя активного участия. «Эти нейтральные фотографии очень похожи на то, как будто вы видите кого-то в данный момент, когда он не надевает винир, что повысило эффективность нашей модели прогнозирования выражения лица», — говорит Кэмпбелл.
Субигья Непал , аспирант Школы последипломных и перспективных исследований Гуарини в исследовательской группе Кэмпбелла, который вместе с аспирантом Гуарини Арвиндом Пиллаи является соавтором исследования, говорит, что следующие шаги MoodCapture включают обучение ИИ более широкому разнообразию участников, улучшая его диагностические возможности и усиливая меры конфиденциальности.
По словам Непала, исследователи предполагают создание версии MoodCapture, в которой фотографии никогда не покидают телефон человека. Вместо этого изображения будут обрабатываться на устройстве пользователя для извлечения выражений лица, связанных с депрессией, и преобразования их в код для модели ИИ. «Даже если данные когда-нибудь покинут устройство, не будет возможности собрать их обратно в изображение, которое идентифицирует пользователя», — говорит он.
Между тем, точность приложения со стороны потребителя может быть повышена, если ИИ будет расширять свои знания на основе выражений лица конкретного человека, использующего его, говорит Непал.
«Вам не придется начинать с нуля: мы знаем, что общая модель имеет точность на 75 %, поэтому данные конкретного человека можно использовать для точной настройки модели. Устройства в ближайшие несколько лет должны легко справиться с этим», — говорит Непал. «Мы знаем, что выражение лица указывает на эмоциональное состояние. Наше исследование является подтверждением концепции, согласно которой, когда дело доходит до использования технологий для оценки психического здоровья, они являются одним из самых важных сигналов, которые мы можем получить».
