Исследователи использовали сложные нейронные сети для воссоздания речи по ее записям, содержащимся в мозге человека, а затем использовали это воссоздание для анализа процессов, которые управляют человеческой речью. Об этом сообщаетScience Daily.
Исследование проводилось нью-йоркским университетом. Команда создала технологию восстановления голоса, которая воссоздает голоса пациентов, потерявших способность говорить.
Они создали целую архитектуру глубокого обучения по записям нейрохирургических операций человека. Команда использовала дифференцируемый синтезатор речи на основе правил для декодирования параметров речи из сигналов коры головного мозга.
Внедряя архитектуру нейронных сетей, которые различают причинные (нейронные сигналы для декодирования текущей речи), антикаузальные (нейронные сигналы) или комбинацию обоих (некаузальных) сигналов, исследователи смогли тщательно проанализировать прямую и обратную связь в производство речи.
Этот передовой подход не только расшифровал интерпретируемые параметры речи, но и дал представление о временных рецептивных полях задействованных областей коры головного мозга. Анализ ученых раскрыл тонкую архитектуру смешанной обратной связи и прямой обработки, охватывающую лобную и височную кору.
Исследователи использовали этот новый взгляд для собственной разработки протезов, которые могут считывать активность мозга и декодировать ее непосредственно в речь. Прототип из Нью-Йоркского университета имеет одну особенность — он способен в значительной степени воссоздать голос пациента, используя лишь небольшой набор записей. Результатом может быть то, что пациенты не вернут себе голос после его потери — к ним вернется именно их собственный голос. Это происходит благодаря глубокой нейронной сети, которая учитывает скрытое слуховое пространство и может быть обучена всего на нескольких образцах индивидуального голоса, таких как видео на YouTube или запись с масштабированием.
Чтобы собрать данные, исследователи обратились к группе пациентов с рефрактерной эпилепсией, которая в настоящее время не поддается медикаментозному лечению. Этим пациентам имплантировали сетку субдуральных электродов ЭЭГ на одну неделю для мониторинга их состояния плюс дополнительные 64 маленьких электрода, чередующихся с обычными клиническими. С их помощью ученые получили информацию о мозговой активности во время произнесения речи.
Ранее Inc. писал, что в ученые из Калифорнийского университета в Сан-Диего разработали «умную» перчатку, которая автоматически переводит американский язык жестов (ASL) в текст на экране цифрового устройства. Стоимость всех комплектующих гаджета не превысила $100.