Компания Google анонсировала SensorLM — новую базовую модель, которая анализирует сигналы от носимых сенсоров, таких как смарт-часы и фитнес-браслеты, и формирует контекстуальные описания активности и состояния здоровья пользователя.
Как поясняют разработчики, SensorLM создана для интерпретации необработанных физиологических данных — таких как пульс, температура или уровень активности — и преобразования их в осмысленные текстовые отчеты. Это особенно важно, поскольку сами по себе цифры без контекста малоинформативны: например, пульс 150 уд/мин может быть вызван как пробежкой, так и стрессом перед публичным выступлением.
SensorLM обучалась на массиве из 59,7 миллионов часов мультимодальных сенсорных данных, собранных от более чем 100 тысяч пользователей из 127 стран в период с 1 марта по 1 мая 2024 года. В процессе использовались данные с устройств Fitbit и Pixel Watch — при добровольном участии пользователей.
Для интерпретации сигналов модель применяет контрастивное обучение — для сопоставления сенсорных данных с релевантными описаниями, а также генеративное предварительное обучение, позволяющее формировать текстовые выводы. Специализированный пайплайн автоматически создаёт описательные подписи, выявляя статистику, тренды и характерные события на основе полученных сигналов.
SensorLM способна различать типы активности — например, кардио-тренировку, силовую нагрузку или продолжительную прогулку. По словам Google, с увеличением объёма данных модель демонстрировала устойчивое повышение точности. В сравнении с универсальными языковыми моделями, SensorLM формирует более структурированные и релевантные описания, что подтверждают результаты экспериментов.
Google планирует масштабировать SensorLM на новые направления, включая анализ сна и метаболического здоровья. В компании считают, что модель станет основой для следующего поколения цифровых ассистентов в области здоровья — от клинического мониторинга до персонализированных wellness-приложений с рекомендациями на естественном языке.
С момента приобретения Fitbit и выпуска Pixel Watch, Google активно развивает ИИ-функции в области носимой электроники. Так, в 2024 году компания получила одобрение FDA на функцию обнаружения потери пульса в Pixel Watch 3. Эта технология использует световые сенсоры и датчики движения, чтобы выявить отсутствие сердцебиения. Если пользователь не реагирует на предупреждение, устройство автоматически вызывает экстренные службы с передачей координат.
Google также продолжает сотрудничество с Samsung. На последнем мероприятии Galaxy Unpacked южнокорейская компания представила линейку Galaxy Watch8 с новыми функциями для здоровья — включая определение апноэ сна, персональные советы по улучшению сна, мониторинг сосудистой нагрузки и уникальный “антиоксидантный индекс”, впервые реализованный в смарт-часах.