Проект, над которым работает компания, представляет собой системы ИИ, которые постоянно анализируют жизнь людей с помощью видео от первого лица: записывают то, что они видят, делают и слышат, чтобы помочь им в выполнении повседневных задач.
Название исследовательского проекта Facebook — Ego4D, которое относится к анализу видео от первого лица, или «эгоцентрического» видео. Он состоит из двух основных компонентов: открытого набора данных видео и ряда тестов, которые, по мнению Facebook, системы искусственного интеллекта должны быть в состоянии решать в будущем.
Этот набор данных является крупнейшим в своем роде из когда-либо созданных, и Facebook сотрудничает с 13 университетами по всему миру для сбора данных. В общей сложности около 3205 часов видеозаписи было записано 855 участниками, проживающими в девяти разных странах. За сбор данных отвечали университеты, а не Facebook. Участники, которым заплатили, носили камеры GoPro и очки AR для записи видео. Записи варьировались от строительных работ до выпечки, игр с домашними животными и общения с друзьями. Все отснятые материалы были деидентифицированы университетами, что включало размытие лиц случайных прохожих и удаление любой личной информации.
Второй компонент Ego4D — это серия тестов или задач, которые Facebook хочет, чтобы исследователи по всему миру пытались решить с помощью систем искусственного интеллекта, обученных на его наборе данных. Компания описывает их как:
Эпизодическая память: что произошло, когда (например, «!Где я оставил свои ключи?»)
Прогнозирование: что я, скорее всего, сделаю дальше (например, «Подождите, вы уже добавили соль в этот рецепт?»)
Манипуляция руками и предметами: что я делаю (например, «Научи меня играть на барабанах»)
Аудиовизуальный дневник: кто что и когда сказал (например, «Какова была основная тема во время урока?»)
Социальное взаимодействие: кто с кем взаимодействует (например, «Помогите мне лучше слышать человека, разговаривающего со мной в этом шумном ресторане»)
Facebook надеется, что его проект Ego4D окажет аналогичное влияние на мир дополненной реальности. Компания заявляет, что системы, обученные на Ego4D, однажды могут быть использованы не только камерах, но и в домашних роботах-помощниках, которые также полагаются на камеры от первого лица для навигации по окружающему миру.
Хотя задачи, которые ставит Facebook, безусловно, кажутся практичными, интерес компании к этой области будет беспокоить многих. Рекорд Facebook по конфиденциальности ужасен, он охватывает утечки данных и штрафы в размере 5 миллиардов долларов от FTC. И хотя Facebook подчеркивает, что это исследовательский проект, а не коммерческая разработка, тем не менее, очевидно, что компания рассматривает подобную функциональность как будущее AR-вычислений. Такие амбиции имеют огромные последствия для конфиденциальности. Эксперты уже обеспокоены тем, как AR-очки Facebook позволяют пользователям записывать представителей общественности. Такие опасения только усугубятся, если будущие версии аппаратного обеспечения не только будут записывать отснятый материал, но и анализировать и расшифровывать его, превращая пользователей в ходячие машины наблюдения.
