Устройства, спрятанные в ушах, сделают технологию более индивидуальной, чем когда-либо прежде.
Говорят, глаза - это окна в душу. Я бы сказал, что настоящие порталы - это уши.
Обратите внимание, что в этот самый момент какофония биологических разговоров взрывается через небольшие участки кожи внутри и снаружи проемов в ушных каналах. Там кровь течет по вашим венам, давление растет и падает по мере того, как вы реагируете на стресс и волнение, уровень кислорода меняется в зависимости от окружающего вас воздуха и того, как ваше тело использует воздух, которым вы дышите. Здесь мы также можем обнаружить электрические сигналы, которые проникают через кору головного мозга, реагируя на сенсорную информацию, находящуюся вокруг нас. И в этом участке самой кожи, изменение электропроводности сигнализирует моменты предвкушения и эмоциональной интенсивности.
Ухо похоже на биологический эквивалент USB-порта. Это не имеет аналогов не только как точка для "письма" в мозг, как происходит, когда наушники передают звуки нашей любимой музыки, но и для "чтения" из мозга. Скоро носимые устройства, которые засовываются в наши уши - я называю их слуховыми аппаратами - будут отслеживать наши биологические сигналы, чтобы выявить, когда мы испытываем эмоциональный стресс и когда наши мозги перегружены. Когда мы с трудом слышим или понимаем, эти устройства активно помогают нам сосредоточиться на звуках, которые мы хотим слышать. Они также уменьшают звуки, вызывающие стресс, и даже подключаются к другим окружающим нас устройствам, таким как термостаты и органы управления освещением, чтобы мы чувствовали себя более комфортно в нашем окружении. Это будет по-настоящему сочувствующая технология - цель, ради которой я работал главным научным сотрудником в Dolby Laboratories и адъюнкт-профессором в Стэнфордском университете.
Как будущие поколения слушателей смогут сделать жизнь лучше? Я представлял себе множество сценариев, но вот четыре, чтобы начать все сначала.
Сценарий 1: Допустим, вы пытаетесь следить за баскетбольными матчами по телевизору во время приготовления пищи на вашей кухне. У вас проблемы с отслеживанием действия, и ваши слушатели знают, что есть проблема, потому что они обнаружили увеличение вашего психического стресса, основанного на изменениях в вашем кровяном давлении и мозговых волнах. Они могут точно определить, куда именно вы пытаетесь направить ваше внимание, объединив усиливающееся напряжение с вариациями электрических сигналов, создаваемых в ухе при движении глаз. Тогда слышимые автоматически увеличивают громкость звуков, поступающих с этого направления. Это довольно простое решение, которое может сделать вас немного более расслабленным, когда вы, наконец, доберетесь до обеденного стола.
Иллюстрация пары несчастных людей с громким шумом и людей поблизости.
Иллюстрация, показывающая сравнение сигнала и шума.
Сценарий 2: Вы окажетесь в популярном новом ресторане, где громкая музыка и реверберация звука затрудняют проведение разговоров (даже если у вас нет потери слуха). Ваши слуховые аппараты отслеживают ваши умственные усилия, опять же, отслеживая ваши мозговые волны, определяя, когда вы испытываете трудности со слухом. Затем они соответствующим образом регулируют соотношение сигнал-шум и направленность встроенных микрофонов, чтобы вам было легче понять, что говорят люди поблизости. Эти слуховые аппараты могут отличить ваших друзей от посетителей, которых вы хотите проигнорировать, основываясь на отпечатках пальцев, собранных вашим устройством ранее.
Иллюстрация пары счастливых людей, потому что громкие звуки и люди приглушены.
Они даже могут выяснить, кого именно вы пытаетесь услышать, отслеживая ваше внимание, даже если вы не видите человека напрямую. Мы все были на вечеринке, где мы услышали наши имена в разговоре через всю комнату и хотели иметь возможность телепортироваться в разговор. Скоро мы сможем это сделать.
Иллюстрация несчастных родителей, едущих с громкими детьми сзади.
Сценарий 3: Вы ведете машину с партнером рядом с вами и двумя детьми на заднем сиденье. Вы устали от часов вождения, а дети шумят, что затрудняет внимание на указания, поступающие с вашего смартфона. А потом ваша дочь объявляет, что ей пора в туалет. Ваши слуховые аппараты обнаруживают нарастающие шумные волнения со стороны детей на заднем сиденье, а также психологическое напряжение, которое оно оказывает на вас. Устройства увеличивают громкость смартфона, одновременно давая инструкции автомобилю отрегулировать температуру сиденья и поток воздуха в соответствии с биометрическими данными, отслеживаемыми ранее, и, возможно, начать мягко воспроизводить любимую музыку. Они даже понимают "Мне нужно в туалет" вашего ребенка как просьбу о ванной комнате, анализируют ее, чтобы определить ее срочность, и решают, нужно ли навигационному приложению немедленно искать ближайшую остановку отдыха или искать рядом с рестораном, потому что слышали, как ваша вторая дочь говорит, что она голодна.
Люстрация плача ребенка и иллюстрация уха, смартфона и термометра.
Сценарий 4: Вы носите слуховой аппарат уже несколько лет. В последнее время устройство обнаруживает специфические изменения в спектральном качестве и характере звуков во время разговора. Отследив эту тенденцию в течение нескольких месяцев, Ваш собеседник советует записаться на прием к врачу, потому что эти изменения могут коррелировать с сердечно-сосудистыми заболеваниями.
Ничего в этих сценариях не выходит за рамки того, чего мы сможем достичь в ближайшие пять лет. Для всех из них необходимое оборудование или программное обеспечение уже имеется в лабораториях или находится на стадии разработки.
Начните с самих наушников. Беспроводные наушники, такие как AirPods Apple, которые частично закрывают ушной канал, и полностью закрывающие наушники, такие как IQbuds Nuheara или Bose's Sleepbuds, показывают, как прогресс в миниатюризации и технологии батарей позволили получить малые, легкие форм-факторы, невозможные всего десять лет назад. Тем не менее, малые форм-факторы означают ограниченные размеры батареи, и срок службы батареи все еще является функцией изготовления или разрыва, которая потребует инноваций для питания большого количества датчиков и алгоритмов обучения машин в течение нескольких дней без подзарядки. Некоторые краткосрочные решения позволят лучше оптимизировать эффективность вычислений, распределяя обработку между слышимыми, мобильными пользователями и облачными средами. Но обратите внимание на некоторые трансформационные инновации в области аккумулирования энергии в течение следующих нескольких лет. Персональным фаворитом прошедшего года стал дебют топливного элемента Widex для внутриушных устройств, способного за считанные секунды достичь полной зарядки в течение суток.
Доступ к чему можно получить через ухо.
Что касается датчиков, то у нас уже есть датчики, которые могут контролировать пульс оптически, как это делают сегодня многие носимые фитнес-трекеры, и датчики, которые могут измерять пульс электрически, как это делают сегодня Apple Watch Series 4. У нас есть датчики, которые следят за оксигенацией крови, знакомые многим из тех, которые используются в кабинетах врачей, но уже мигрируют в фитнес-трекеры. У нас есть кольца, часы и нашивки, отслеживающие физическое и эмоциональное напряжение путем измерения гальванической реакции кожи; мониторы артериального давления, напоминающие браслеты; повязки на голове, отслеживающие мозговые волны; и нашивки, отслеживающие внимание и сонливость путем отслеживания движения глаз. Все эти устройства постоянно сокращаются и становятся все более надежными с каждым днем, на траектории, которая вскоре сделает их пригодными для использования в слуховых аппаратах. Действительно, размещение таких мониторов в ухе, где кровеносные сосуды и нервы располагаются близко к поверхности, может дать им преимущество в чувствительности по сравнению с размещением в запястье или других типах носимых вещей.
По-прежнему существует немало проблем, связанных с правильной эргономикой слуховых аппаратов. Главное - контакт, то есть, как конструкторы могут обеспечить адекватный непрерывный контакт между наушной капсулой и кожей наружного слухового прохода. Такой контакт необходим для того, чтобы устройства могли выполнять любые виды точного биологического зондирования. Естественное поведение, такое как чихание, жевание или зевание, может на короткое время разорвать контакт или, как минимум, изменить сопротивление соединения наушников с кожей. Это может дать неполную или неточную оценку психического или физического состояния слышимого человека в алгоритмах. Я не думаю, что это будет большим препятствием. В конечном счете, решения будут зависеть как от проницательных алгоритмов, учитывающих изменчивость, вызванную движением, так и от аппаратного обеспечения.
Если говорить о программном обеспечении, то возможности виртуальных помощников на базе AI, конечно, расцвели в последние годы. Ваша интеллектуальная колонка намного более полезна, чем шесть месяцев назад. И ни в коем случае не имеет своей способности понимать, что ваши команды закончили совершенствоваться. В ближайшие годы он станет профессионалом в прогнозировании ваших потребностей и желаний, и эта способность будет передаваться непосредственно слушателям.
Доступ к чему можно получить через ухо.
Современные виртуальные помощники, такие как Amazon Alexa и Apple Siri, полагаются на облако для мощной обработки, необходимой для ответа на запросы. Но искусственные нейросетевые чипы, поступающие вскоре от IBM, Mythic и других компаний, часто позволяют проводить такую интенсивную обработку в самом слышимом помещении, устраняя необходимость в подключении к Интернету и обеспечивая почти мгновенное время реакции. Иногда из-за сложности алгоритма слушателям приходится прибегать к облачной обработке. В этих случаях ячейки пятого поколения (5G), обещающие среднюю скорость в сотни мегабит в секунду и задержки в одноразрядные миллисекунды, потенциально сократят задержку до десятков миллисекунд.
Эти слуховые аппараты не должны быть такими маленькими, как наушники, которые полностью вписываются во входы в ушные каналы. Сегодня некоторые люди носят свои Apple AirPods по несколько часов каждый день, и не так давно наушники Bluetooth для совершения голосовых звонков стали модными аксессуарами.
Что касается форм-фактора, то дизайнеры уже начинают выходить за рамки классического внутриушного монитора. Недавно компания Bose представила систему Bose Frames, в которую встроены направляющие динамики солнечных очков. Такая рама могла бы вместить в себя многие слышимые элементы конструкции, большинство из нас уже давно чувствуют себя комфортно, нося их в течение длительного времени. Скорее всего, дизайнеры придумают и другие варианты. Дело в том, что при правильном балансе формы, времени работы от батареи и преимуществ для пользователя, слуховой аппарат на искусственном интеллекте может стать тем, о чем некоторые люди не будут думать часами, а, возможно, и большую часть дня.
Доступ к чему можно получить через ухо.
Что мы можем ожидать от ранних предложений? Большая часть передовых исследований в области слуховых аппаратов в настоящее время сосредоточена на когнитивном контроле слухового аппарата. Суть в том, чтобы определить, откуда люди обращают внимание на звуки, независимо от положения головы или фокусировки глаз, и определить, работает ли их мозг необычайно тяжело, скорее всего потому, что они борются за то, чтобы кого-то услышать. Сегодня слуховые аппараты обычно усиливают все звуки, делая их неприятными для пользователей в шумной обстановке. В некоторых из самых дорогих слуховых аппаратов сегодня есть некоторые умные функции - некоторые используют машинное обучение наряду с GPS картированием для определения того, какие настройки громкости и шумоподавления лучше всего подходят для определенного места, применяя их, когда пользователь входит в эту область.
Такие устройства будут привлекательны практически для всех нас, а не только для людей, испытывающих трудности с потерей слуха. Звуки и требования нашей окружающей среды постоянно меняются и создают различные типы конкурирующих шумов, реверберационную акустику и отвлекающие внимание факторы. Устройство, которое помогает нам создать "конус молчания" (помните телевизионную комедию 1960-х годов "Получить умный"?) или дает нам сверхчеловеческий слух, а способность направлять наше внимание на любую точку комнаты изменит то, как мы взаимодействуем друг с другом и нашей средой.
В течение пяти лет новая волна интеллектуальных слуховых аппаратов сможет распознать стресс, как текущий, так и упреждающий. Эти интеллектуальные устройства будут делать это, собирая и комбинируя несколько видов физиологических данных, а затем используя инструменты глубокого изучения, настраивать анализ на индивидуальный уровень, становясь все лучше и лучше в выявлении и прогнозировании растущего стресса. Данные, которые они используют, скорее всего, будут включать частоту пульса, собранные с помощью оптических или электрических датчиков, учитывая, что основными показателями стресса являются увеличение частоты сердечных сокращений и сдвиги в изменении частоты сердечных сокращений.
То, что они рассказывают о тебе слышащим людям.
Эти слуховые аппараты, вероятно, также будут использовать миниатюрные электроды, размещенные на их поверхностях, чтобы чувствовать слабые электрические поля вокруг головного мозга, которые мы иногда называем мозговыми волнами. Будущие слушатели будут использовать программное обеспечение для преобразования колебаний в этих полях на различных частотах в электроэнцефалограммы (ЭЭГ) с миллисекундным разрешением. Десятилетние исследования помогли ученым получить представление о душевном состоянии человека в результате изменений в ЭЭГ. Например, устройства часто ищут волны в диапазоне частот от 7,5 до 14 герц, известном как альфа-волны (точные границы спорны), чтобы отслеживать напряжение и релаксацию. Колебания бета-волн в диапазоне от 14 до 30 Гц могут указывать на увеличение или уменьшение тревоги. А взаимодействие между альфа- и бета-диапазонами является хорошим общим маркером стресса.
Эти слуховые аппараты могут также измерять пот, как по количеству, так и по составу. Мы все знаем, что в стрессовой ситуации потеем больше. Датчики, измеряющие изменения проводимости кожи вследствие изменений в наших потовых железах, известные как гальваническая реакция кожи, начинают появляться на запястьях и легко адаптируются к слуховому аппарату. (Возможно, вы знакомы с этой технологией в связи с ее ролью в полиграфических машинах). Микрожидкие устройства, которые собирают пот с кожи, также могут помочь измерить скорость потоотделения. И недавно исследователи показали, что сенсор может обнаружить кортизол - стероидный гормон, выделяющийся, когда человек находится в состоянии стресса - в поту.
Эти слуховые аппараты будут сочетать физиологическую картину стресса пользователя со звуками, улавливаемыми микрофонами, для того, чтобы понять контекст, в котором работает пользователь. Затем они автоматически настраивают свои параметры в соответствии с окружающей средой и ситуацией и усиливают звуки, которые больше всего волнуют пользователя, пока они отсеивают другие звуки, которые могут помешать пониманию.
Команда Колумбийского университета, Университета Хофстра и Неврологического института недавно взяла на вооружение идею декодирования электрической активности в мозгу, чтобы помочь снизить стресс еще на один шаг, продемонстрировав эффективность использования обнаружения мозговых волн с помощью машинного обучения, чтобы помочь людям справиться с несколькими людьми, говорящими одновременно, и разработав алгоритм, который может надежно определить, кого слушатель наиболее интересует слух.Эксперимент включал запись мозговых волн, в то время как субъект исследования слушал, как кто-то говорил. Затем исследователи смешали звуки целевого динамика со случайным громкоговорителем, который вмешивался случайно. В то время как испытуемый пытался проследить историю, рассказанную говорящим в миксе звука, исследователи сравнивали текущие сигналы мозговых волн с сигналами предыдущей записи, чтобы определить цель внимания. Используя алгоритм разделения голосов на отдельные каналы, система затем смогла усилить голос целевого диктора. В то время как исследователи использовали имплантированные электроды для проведения этого эксперимента, версия этой технологии может мигрировать в неинвазивный мозговой мониторинг слышимости, который увеличивает громкость голоса целевой колонки и гасит другие звуки.
То, что они рассказывают о тебе слышащим людям.
Сердечники завтрашнего дня могут также улучшить наше физическое и психическое здоровье. Например, слышимый может диагностировать и лечить звон в ушах, так называемый звон в ушах, часто вызванный потерей сенсорных клеток улитки или повреждением нервных клеток по пути от улитки к мозгу. Для диагностики проблемы слышимый может воспроизводить звук, который пользователь настраивает в соответствии с мелодией звонка. Затем, чтобы лечить это заболевание, слышимый может воспользоваться его близостью к ветви блуждающего нерва, чтобы научить мозг остановить нервную активность, которая вызвала раздражающий звон в первую очередь.
Применение блуждающего нерва, подобное этому, находится на ранней стадии исследования, но оно многообещающе для слуховых аппаратов. Блуждающие нервы входят в десятку основных пар черепных нервов. Они бегут от мозга к желудку, по одному на каждой стороне тела, с ветвями, которые проходят через кожу вблизи нерва, несущего сенсорную информацию от внутреннего уха к мозгу. Врачи стимулируют эти нервы электрически для лечения эпилепсии и депрессии, и исследователи тестируют такую стимуляцию для лечения сердечных заболеваний, расстройств пищеварения, воспалений и других психических и физических заболеваний.
В случае звона в ушах исследователи стимулируют блуждающий нерв к активизации деятельности нейротрансмиттеров, которые помогают в обучении, запоминании и обуздании мозга, заставляя его при необходимости существенно перестроиться, что называется нейропластичностью. Такая стимуляция с помощью слуховых аппаратов может также использоваться для лечения посттравматического стрессового расстройства (ПТСР), лечения наркомании или для улучшения познания физических движений.
Конфиденциальность и безопасность - две большие взаимосвязанные проблемы, с которыми сталкиваются разработчики аудиовизуальных материалов на пути к их широкому внедрению. Несмотря на то, что существует множество преимуществ, которые могут быть получены в результате постоянного мониторинга наших внутренних состояний и нашей реакции на наше окружение, люди могут неохотно подчиняться такому постоянному контролю. Деловые круги также будут испытывать беспокойство, например, по поводу того, что слуховые аппараты могут быть взломаны для прослушивания разговоров на собраниях.
Но для того, чтобы получить максимальную пользу от слуха, он должен проводить как можно больше времени, наблюдая за повседневной жизнью своего владельца. В противном случае, системы машинного обучения, которые поддерживают его, не будут иметь детальной истории и постоянного свежего источника информации, который необходимо постоянно улучшать любому устройству искусственного интеллекта.
Слышимый человек, который слушает своего владельца в течение недель, месяцев или лет, будет иметь глубокое понимание ума этого человека.
Есть также ряд сложных правовых вопросов, требующих рассмотрения. Пару лет назад прокуроры Арканзаса вызвали в суд Амазонку для дачи показаний в суде с целью раскрытия информации, собранной с помощью устройства "Эхо", которое находилось в доме, где произошло убийство. Уйдут ли люди и предприятия от использования интеллектуальных слуховых аппаратов, потому что собираемые ими данные когда-нибудь могут быть использованы против них?
Для решения этих проблем уже существуют различные стратегии. Например, для защиты голосовых копий, используемых в биометрических системах для аутентификации на основе голоса, некоторые системы преобразуют аудиоданные в кусочки, зашифрованные с помощью постоянно меняющихся ключей. Используя эту технику, взлом, связанный с одной частью, не даст хакеру доступ к остальным аудиоданным этого пользователя. Технология также гарантирует, что хакер не сможет получить достаточно аудиоданных для создания виртуальной копии голоса пользователя, чтобы обмануть систему голосовой аутентификации банка. Кроме того, разработки в области криптографии, позволяющие алгоритмам работать с полностью зашифрованными данными без их расшифровки, скорее всего, будут важны для безопасности будущих слушателей.
Другая, возможно, более сложная проблема связана с психическим здоровьем. Поскольку слышимые могут отслеживать наши внутренние состояния, завтрашние слышимые узнают о нас вещи, которые мы можем не знать, или даже быть готовыми к этому.
Например, исследования IBM показали, что алгоритм может предсказать вероятность наступления психоза в течение пяти лет и диагностировать шизофрению с точностью до 83 процентов, просто проанализировав определенные компоненты речи человека.
Но что можно услышать - может быть, просто чтобы улучшить слух в ресторанах и следить за артериальным давлением пользователя - с помощью такой информации? Слышимый человек, который слушает своего владельца в течение недель, месяцев или лет, будет иметь глубокое понимание ума этого человека. Если он приходит к выводу, что кому-то нужна помощь, следует ли предупредить об этом члена семьи, врача или даже правоохранительные органы? Очевидно, что есть этические вопросы, на которые нужно ответить. Раннее вмешательство и знания - это огромное преимущество, но оно будет сопряжено с определенными издержками: Либо мы должны будем отказаться от нашей конфиденциальности, либо инвестировать в лучшую инфраструктуру для ее защиты. На некоторые вопросы, поднятые слушателями, работающими на искусственном интеллекте сердца, не так-то просто ответить.
Я уверен, что мы сможем справиться с этими задачами. Преимущества слуховых аппаратов намного перевешивают негативные факторы, и это является сильной мотивацией для выполнения работы, необходимой для решения вопросов конфиденциальности и безопасности. Когда мы это сделаем, слушатели будут постоянно и молча оценивать и предвидеть наши потребности и душевное состояние, помогая нам справляться с окружающим миром. Они будут нашими настоящими спутниками жизни.