74 подписчика
Как клонировать лектора? НИОКР «Цифровой двойник» от Университета 2035
В своей работе с вузами и корпоративным сегментом мы заметили такую деталь – процент наиболее востребованных преподавателей достаточно невелик. То есть примерно у 15-20% самая высокая востребованность и самая высокая загрузка по времени. Из-за обилия «стандартных» потоковых лекций наиболее талантливая профессура вынуждена уделять меньше времени исследователской работе, практическим занятиям со студентами, саморазвитию и так далее.
Возникла идея «разгрузить талантливого лектора». Так родился проект «Цифровой двойник». Цель проекта – создать цифрового двойника лектора для ведения потоковых лекций и ответов на вопросы студентов. То есть не просто 3D аватар с предзаписанным материалом, а полноценный «голосовой помощник» натренированный на материале лектора, способный распознать вопрос (в том числе из аудио) подобрать и синтезировать наиболее подходящий ответ и воспроизвести его аватаром, выглядящим как данный преподаватель.
Для этого мы собрали ансамбль алгоритмов:
- распознавание вопроса с голоса
- распознавание текста вопроса (лектору)
- трансформер на контекстом поиске по материалу лектора
- озвучка и воспроизведение голоса
- Речевая анимация аватара с помощью Deepfake (на видео)
К настоящему моменту проект находится в пред-пилотной стадии. Проведено тестирование всех компонентов модели. Отобраны модели распознавания и генерации голоса, Проведена смысловая разметка большого объема текстов.
Пилотная версия ожидается в начале следующего года.
Андрей Комиссаров и команда сообщества Digital Learning
1 минута
9 сентября 2022