Ученые-инженеры из университета Вашингтона, что в Сент-Луисе решили разработать комплексную систему для съемки хорошо скомпонованных фотографий с помощью мобильного робота. Общий сценарий: приемная или другое мероприятие, на котором люди бродят и разговаривают друг с другом. Робот выступает в роли "фотографа мероприятия", перемещаясь по тому же пространству, что и участники, периодически фотографируя. Затем эти изображения отправляются на док-станцию, через которую участники могут распечатать фотографии или отправлять их по электронной почте.
Фотоприложение разработано в качестве основы для исследования алгоритмов выполнения стандартных задач робота, таких как навигация и локализация, а также новых методологий взаимодействия человека и робота. Разработанная система является отправной точкой, на основе которой будут в дальнейшем использованы более продвинутые алгоритмы.
Главной особенностью приложения для фотографии является то, что у нее есть, "скользящая шкала" для оценки системы - сколько "хороших" и "плохих" снимков сделал робот. Хотя эта оценка не является объективной, она, наряду с наблюдением за функционированием системы, может дать качественное представление о том, как изменение того или иного компонента влияет на всю систему.
Нынешняя система полностью ориентирована на события. Робот ищет потенциально "хорошее" местоположение фотографии, перемещается туда (если возможно), определяет хорошую композицию и настраивает камеру до тех пор, пока не будет найдена "идеальная" композиция. В этот момент робот делает снимок и начинает цикл заново.
Поскольку люди перемещаются, робот должен постоянно оценивать свое текущее состояние и определять, нужно ли ему, например, искать другое место съемки, потому что из его текущего местоположения не видно людей. В настоящее время навигация робота, в основном, реактивна, хоть и есть возможность "привязать" робота к визуальному ориентиру.
Робот в деталях
Система реализована на мобильном роботе iRobot с двумя камерами, смонтированными на устройстве Directed Perception Pan. Все вычисления и управление выполняются с помощью процессора Intel Core 5, c 4 гигабайтами оперативной памяти на борту. Помимо камер, единственным датчиком, используемым для выполнения описанных действий, является лазерный дальномер.
Фотосистема использует цифровую видеокамеру для обнаружения и кадрирования объектов и цифровую фотокамеру для съемки конечных снимков. Оба монтируются наклонный блок. Используется видеокамера Sony DFW-VL500 IEEE (FireWire) с разрешением 640 на 480 пикселей и скоростью 30 кадров в секунду. Данная камера работает непрерывно, и ее выходной сигнал используется для обнаружения возможных объектов съемки.
После правильной настройки фотографии для ее съемки используется другая камера. Эта камера представляет собой цифровую фотокамеру Kodak DC290 и имеет разрешение 1600 на 1200 пикселей. Она подключается к роботу через USB-интерфейс и может снимать со вспышкой один раз в 20-30 секунд. Фотографии сохраняются на камере, а затем загружаются в робота в пакетном режиме один раз в несколько минут.
Для этого проекта система также включает в себя стандартную док станцию, подключенную к роботу по беспроводному каналу Ethernet.
Док станция используется для отображения фотографий, сделанных роботом. Участники используют графический интерфейс пользователя для просмотра фотографий, отправки их по электронной почте или распечатки в качестве сувениров.
Поиск объектов
Первым шагом в процессе фотографирования является определение потенциальных объектов съемки. Поскольку главной задачей является фотографирование людей, эту проблему можно свести к поиску лиц и приблизительному расположению лица.
Сначала алгоритм распознавания лиц находит на изображении все «кожные пятна» (участки, наиболее похожие на лица). Затем эти пятна соотносятся с показаниями лазерного дальномера для вычисления положения и размера вероятных лиц. Пятна, которые имеют правильную форму, размер и высоту от земли, классифицируются как лица. Основываясь на расстоянии, вычисленном дальномером, вычисляется высота и фактический размер участков кожи, соответствующих лицам кандидата. Любые кандидаты, которые находятся вне пределов необходимой высоты или размера, исключаются.
Навигация
После того, как как робот определил потенциальные объекты съемки, с помощью самых простых правил кинематографа определяется место съемки. Отдается предпочтение местам, где робот находится примерно в полутора метрах от объекта съемки. Снимки, в которых один человек загораживает другого, исключаются.
Для расчета наилучшего возможного положения выстраивается объективная функция, которая представляет собой ожидаемое качество снимка, сделанного с любой точки. Пространство вокруг робота, в котором находятся фотографируемые люди, распознается в виде сетки. В каждой ячейке сетки сохраняется число, соответствующее тому, насколько хорошей, по мнению системы, будет снимок с данной позиции.
Подобная система способна ориентироваться в толпе людей, делая "моментальные снимки" высокого качества. Используя ряд простых алгоритмов в сочетании с данными от нескольких датчиков, а также знание задач и окружающей среды, инженеры достигли удивительного уровня производительности.
Существует много возможностей для дальнейших исследований в рамках этого приложения. Навигация, методы распознавания лиц, передвижение, а также взаимодействия человека и робота - только некоторые моменты, которые подлежат улучшениям. Но тем не менее уже сейчас понятно, что такой робот, может легко заменить фотографа.
