Подразделение компании Apple, Apple Research, провело исследование будущего функционала наушников AirPods, которое показало, что модели ИИ могут оценивать частоту сердечных сокращений по записям стетоскопа, встроенного в наушники.
Сообщается, что исследование открывает возможность для превращения AirPods в полноценный носимый кардиомонитор. В исследовании были задействованы шесть популярных базовых ИИ-моделей, обученных на аудио или живой речи: учёные проверили, насколько эффективно «аудиопредставления» ИИ могут быть использованы для оценки частоты сердечных сокращений по записям звуков сердца, или фонокардиограммам.
Тестирование проводилось на общедоступном наборе данных, включающем реальные сердечные звуки, аннотированные экспертами. Большинство моделей работали так же точно, как и старые методы, основанные на ручных аудиофункциях — способах представления звука, разработанных вручную и давно используемых в традиционных моделях машинного обучения.
Однако, собственная модель компании, Apple CLAP (Contrastive Language-Audio Pretraining), обученная на 3 млн аудиообразцов, была проверена на способность оценить частоту сердечных сокращений с использованием фонокардиограмм. Результаты показали, что собственная модель Apple превзошла не только традиционные методы машинного обучения на основе ручных аудиофункций, но и большинство других моделей.
Как отмечает портал 9to5Mac, обративший внимание на исследование, для обучения нейросети Apple использовала короткие 5-секундные записи сердечных сокращений в ударах в минуту. Более глубокие слои обработки информации больших моделей не всегда оказывались более эффективными, так как кодировали менее полезную информацию из-за оптимизации для языка.
Неглубокие или средние слои показали лучшие результаты. Исследование выявило, что совмещение традиционной обработки сигналов и искусственного интеллекта нового поколения может дать более точные оценки частоты сердечных сокращений, так как каждый подход восполнял недостатки другого. Это позволит Apple лучше определить модели и слои для извлечения важных сигналов о состоянии здоровья, в случае решения внедрить подобный анализ в свои устройства.