Изучаем проекты участников Архипелага 20.35. Команда из Владивостока разработала сервис 2dlab, который с помощью искусственного интеллекта анализирует мероприятия в Zoom. Инструмент отслеживает поведение людей в группе и оценивает их эмоции. Это помогает эффективнее управлять процессом и повышать продуктивность команд.
Начали с отчета
Игорь Кожурин занимался анализом коммуникаций в Дальневосточном федеральном университете. В октябре 2019 года к нему пришел заказ сделать отчет о работе команд на недельном интенсиве «Chief Data Officer — управление, основанное на данных». Нужно собрать как можно больше информации, не помешав работе участников.
Хотелось как в National Geographic: почти незаметно и объективно.
Участников предупредили, что на всех мероприятиях интенсива их будут фотографировать и записывать на диктофон. Через неделю накопилось несколько сотен часов аудиозаписей и фото. Игорь и двое друзей, которых он привлек к задаче, не без труда проанализировали эту гору информации, сдали отчет и поняли, что в следующий раз будет проще и быстрее использовать машинные методы.
Офлайн потерял актуальность
Сначала команда работала над решением для аналитики офлайн-встреч «Спутник». Чаще всего участники совещаний и групповых сессий сидят по кругу. Чтобы видеть и слышать каждого участника, разработчики решили поставить в центре фиксатор с устройством, которое записывает видео с углом обзора 360°, ведет двухканальную запись аудио и автономно работает до 12 часов.
В прототипе не было сервиса по обработке информации. Это было в планах, а пока предполагалось, что из него нужно будет просто достать флешку и скинуть данные на сервер.
Когда прототип был готов, авторы начали общаться с потенциальными покупателями и поняли, что офлайн-решение потеряло актуальность. Пандемия и массовая удаленка изменили потребности пользователей. В результате «Спутник» так и остался «на бумаге». Возможно, к нему вернутся, когда живые встречи снова станут нормой.
«К Zoom мы обратились вынужденно, но обнаружили, что так схема работает даже лучше: ведь каждый участник сидит перед камерой и смотрит прямо на нее, так намного удобнее распознавать лица и эмоции».
В Zoom удобно
Игорь собрал команду из дизайнера, редактора, специалиста по обработке языка и специалиста по компьютерному зрению. Вместе они работали над схемой для автоматической оценки эффективности работы удаленных команд 2dlab. Получился инструмент, который распознает эмоции с помощью компьютерного зрения и обрабатывает речь участников.
По замыслу, продукт должен работать так: в Zoom проходит лекция, совещание или обучение, потом сервис автоматически обрабатывает аудио- и видеозапись этого события и выдает заказчику отчет в виде дашборда.
В Zoom есть опция записи данных видеопотока в облако. Каждой записи присваивается ключ доступа, который администратор может передать для обработки данных. Это быстро и легко.
«Мы собрали несколько готовых решений по распознаванию лиц и эмоций, преобразованию аудио в текст и обработке текста. В итоге соорудили собственную архитектуру, которая на входе получает записи звука и видео, а на выходе выдает полезную информацию».
В зависимости от целей, в отчет входят разные показатели:
- посещаемость;
- эмоциональный фон участников;
- вклад каждого в общее дело;
- что и на каком этапе обсуждали;
- как пришли к результату.
Можно следить за работой всей команды или конкретных участников.
Архитектура решений, которую используют в 2dlab, позволяет обработать данные по четырем направлениям. По отдельности эти опции используют в других сервисах, но их сочетание — это уникальный продукт:
«Мы пока не понимаем до конца, сколько полезного можно извлечь из этих данных. Но точно знаем, что аудио- и видеопотоки — это самые чистые источники информации о групповой деятельности. У этих данных большой потенциал».
Кому поможет 2dlab
Пока разработчики видят два направления, в которых будет полезна технология: в образовании (EdTech) и управлении персоналом (HR Tech).
В образовании аналитика групповой работы будет полезна в школах, университетах, на онлайн-курсах, интенсивах с большим количеством команд. Например, директор школы хочет знать, что происходит на удаленных уроках, как реагируют дети, успевают ли по программе. При этом учителю не нужно отвлекаться на административные вопросы: ставить «энки» в начале урока, записывать, кто и когда просил разрешение отойти, когда возвращался, кто проявлял активность на уроках в ответах — это сделает система.
В сфере управления персоналом сервис 2dlab может быть полезен для командной работы и совещаний. Например, на заводе работает 30 команд. Можно взять дежурное совещание этих команд, встроить элемент аналитики и узнать, как они работают и какой настрой у сотрудников.
Система не для наказаний
Игорь представлял свой проект на секции по компьютерному зрению форума Russky MeetUp & Digital Region 3 октября во Владивостоке. Представитель МТС Владимир Савченко предположил, что эта технология поможет определить, как ведут себя сотрудники на совещаниях в удаленном формате.
А что делать, если сотрудник эффективный, а система показывает, что он часто отсутствовал на собраниях, не высказывался во время обсуждения или говорил не по делу? Наказание или увольнение — не выход. Игорь считает, что их разработка не для контроля и наказаний, а для того, чтобы понять, когда команда и отдельные сотрудники лучше работают, когда для них нужно делать перерывы, как лучше калибровать команды.
