Фотограмметрия в первоначальном и самом общем смысле — это раздел науки, который помогает определять по фотоснимкам такие параметры разных объектов, как их расположение, форма и размеры.
Фотограмметрия в производственных технологиях — это способ получения трехмерных объектов и их измерений на основе серии фотоснимков, сделанных с разных сторон, она применяется в том числе и как одна из технологий создания объемных изображений.
Читайте до конца и узнайте больше о применении фотограмметрии, сути технологии, ее преимуществах и ограничениях, плюсах и минусах по сравнению с 3D-сканированием.
Введение
Фотограмметрия становится все более популярной с годами, и поэтому она используется во многих различных применениях, каждое из которых имеет свои особенности. Здесь мы представляем общие концепции, лежащие в основе фотограмметрии. Мы рассмотрим, как она работает и приведем примеры её использования, а также уточним, когда ее применение наиболее эффективно, а в каких случаях стоит применить другие технологии.
Что такое фотограмметрия: определение, принципы работы
Фотограмметрия — это процесс получения надежных измерений с помощью фотографий. Это определение может показаться немного упрощенным, но этимология термина подтверждает это: «Photos» по-гречески означает свет, «gramma» означает письмо или рисунок, а «metron» — измерение.
Вы также можете столкнуться с некоторыми определениями фотограмметрии, которые включают проведение измерений электромагнитной энергии. Это связано с тем, что в некоторых кругах определение фотограмметрии включает в себя не только фотографии и изображения, извлеченные из видео, но и данные из других источников.
В конце концов, общий принцип, лежащий в основе, остается неизменным: получение достоверной информации о размерах и формах физических объектов путем изучения и интерпретации их изображений.
В большинстве случаев эти изображения представляют собой обычные снимки с камеры — это может быть DSLR или камера, установленная на обычном смартфоне. Это определение, с которым мы будем работать.
Предположим, что у нас есть фотография следа на земле с линейкой рядом. Мы не можем с уверенностью определить размер обуви по фотографии, даже если линейка дает масштаб, если след изгибается в зависимости от рельефа поверхности.
Чтобы провести точное измерение, мы должны учитывать кривизну поверхности. Но если камера расположена прямо над следом и смотрит вниз, она не видит контуров земли. Как же фотограмметрия решает эту проблему?
Для этого надо использовать несколько перекрывающихся изображений с разных позиций и ракурсов. Фотограмметрия сосредоточена вокруг перспективы и ее интерпретации. По сути, фотограмметрия идет в обратном направлении в процессе фотографии. В то время как фотография берет объект или сцену и превращает ее в плоское изображение, фотограмметрия делает обратное — позволяет восстановить по изображению рельеф поверхности.
Основа фотограмметрии — стереометрия. Мы знаем, что камеры видят объекты так же, как и человеческий глаз. Например, чем ближе объект к объективу, тем больше он кажется. Иллюстрацией этого является то, как прямая дорога кажется сужающейся вдали, хотя ее ширина на самом деле не меняется.
Фотограмметрия опирается на эти принципы, чтобы делать выводы о размерах и форме объектов. При наличии достаточного количества перекрывающихся изображений, предоставляющих необходимую пространственную информацию, можно реконструировать 3D-модель всего объекта или сцены.
Наличие перекрывающихся изображений является ключом к фотограмметрии. Определив одни и те же точки на нескольких изображениях и приняв во внимание такие параметры, как положение и ориентация камеры для каждой фотографии, ее фокусное расстояние, искажение объектива и другие переменные, можно определить, где эти точки располагались в трехмерном пространстве. Это называется триангуляцией.
Когда одна точка идентифицирована по крайней мере на двух снимках, сделанных из разных известных мест, мы можем провести воображаемые линии от двух положений камеры в направлении этой точки. Затем мы математически определяем, где пересекаются линии. Сходящиеся линии дают нам координаты XYZ целевой точки. И, при достаточном количестве точек, мы можем построить модель сцены.
Фотограмметрические модели имеют пропорцию, но не имеют масштаба. Чтобы масштабировать модель, должно быть хотя бы одно известное расстояние. То, что на первый взгляд выглядит как полноразмерное здание на картинке, может оказаться миниатюрной моделью, если положить рядом с ним монету. В фотограмметрии эквивалентом этой монеты будут масштабные линейки.
Масштабные линейки — это калиброванные линейки с прикрепленными к ним метками, маркерами. Маркеры на масштабных линейках закодированы — это означает, что программное обеспечение может однозначно идентифицировать каждую метку. Некодированные метки, например, как на коленчатом валу на фото выше, просто предоставляют высококонтрастные контрольные точки, которые помогают точно сшивать изображения. Они не являются однозначно идентифицируемыми.
Метки на масштабных линейках разделены известным расстоянием и поэтому могут использоваться для масштабирования изображения. Для обеспечения согласованности и точности масштабные линейки изготавливаются из материалов, размеры которых не сильно меняются при изменении температуры.
Перед съемкой, по всему месту съемки, также расставляются метки, которые служат надежными контрольными точками, сопоставляющими перекрывающиеся изображения при их сшивке.
Программное обеспечение для фотограмметрии может автоматически распознавать и сопоставлять кодированные метки между снимками и использовать эту информацию для выравнивания изображений и определения ориентации модели. Некодированные метки дополнительно используются для проверки точности модели после ее обработки программным обеспечением.
Последовательность и качество снимков являются ключевыми факторами. Есть довольно много факторов, которые влияют на то, чего вы можете достичь с помощью фотограмметрии. Аппаратное обеспечение, такое как камеры, объективы и т. д., определяет максимальное качество изображений, а значит и точность получаемых с их помощью данных. Разрешение, резкость, глубина резкости и другие характеристики тут важны. Подробнее рассмотрим это ниже.
Помимо качества, однако, важно и то, как сделаны сами изображения. Важно убедиться, что объект захвачен полностью. Полезная рекомендация — сделать несколько полных кругов вокруг объекта, систематически делая снимки, чтобы положение камеры создавало своего рода купол вокруг него. Для более мелких объектов, естественно, будет меньше фотографий. В любом случае, необходимо убедиться, что весь объект находится в фокусе на всех снимках.
Для более крупных объектов или сцен, которые невозможно охватить, таких например, как фасад здания, камеру можно перемещать по прямой линии, параллельной фасаду здания — в таком случае может потребоваться несколько проходов и лучше всего делать снимки под разными углами.
При аэрофотограмметрии, например, камера будет установлена на летательном аппарате и направлена вниз. Для получения наибольшей информации о рельефе местности и формах и размерах объектов на ней, в таком случае, необходимо направить ее под углом и снять участок с разных сторон. Здесь снова ключевым моментом является последовательность.
Виды и применение фотограмметрии
Во многих отношениях фотограмметрия работает как человеческое зрение. Каждый из наших глаз постоянно регистрирует перекрывающиеся изображения, которые мы используем для восприятия глубины и расстояния. Аналогично, для того, чтобы фотограмметрия работала хорошо, нам нужен набор качественно сделанных фотографий с достаточной информацией о сцене, для экстраполяции требуемых данных. Количество изображений для сбора необходимой нам информации будет зависеть от размера и сложности объекта. Таким образом, хотя базовые концепции, лежащие в основе технологии, остаются прежними, ее можно разделить на два основных направления: фотограмметрия для проектирования и для 3D-моделирования.
Фотограмметрия в промышленности
Если вы инженер, создающий модель объекта для контроля качества, обратного проектирования или чего-то еще, вам не обязательно нужен каждый пиксель на изображении. Например, чтобы нарисовать прямую линию, вам нужно знать только положения двух точек.
Это концепция, лежащая в основе того, что иногда называют метрической фотограмметрией. В центре внимания этой ветви фотограмметрии — точность. Суть в том, чтобы получить точные измерения и расчеты по фотографиям, определяя, насколько это возможно, относительное расположение определенных важных точек на снимках.
В метрической фотограмметрии алгоритм строит модель на основе ряда соответствующих точек. Целью является точность, а не захват каждой отдельной поверхности.
Поэтому инженеры размещают метки, которые алгоритм распознает на поверхностях объекта или рядом с ним. Алгоритм использует эти метки для построения модели. Результатом является скелет из соответствующих точек, а не плотное облако точек всех поверхностей.
Метки прикрепляются к объекту или рядом с ним для облегчения процесса определения и выравнивания перекрывающихся областей на снимках. Эти целевые точки определяют размер, форму и положение особенностей объекта с упором на точность. Точки можно надежно использовать для расчета расстояний, площадей и даже таких вещей, как высота, чтобы помочь создать топографическую карту или объемы и поперечные сечения для других технических целей.
Фотограмметрия для 3D-моделирования
Такие вещи, как разработка игр, CGI в фильмах или сохранение культурного наследия, музейное применение, требуют реалистичных рендеров реальных объектов. Как правило, чем больше пикселей и деталей вы можете вложить в модель, тем лучше. Эксперты, работающие в этих отраслях, часто имеют лучшее из лучшего фотооборудования, но вы, тем не менее, можете добиться более-менее реалистичных результатов и с помощью смартфона.
Компромисс заключается в том, что окончательная форма модели обычно не идеальна. Вдобавок ко всему, количество артефактов и уровень шума, с которыми вам неизбежно придется иметь дело при использовании фотограмметрии, значительно выше. Результатом будет модель с текстурой высокой четкости, но с большим количеством шума и неидеальной геометрией. В прошлом профессиональные 3D-сканеры боролись с блестящими, прозрачными или черными поверхностями, но это становится всё меньшей проблемой с развитием технологии.
Для проектов, которым требуется только 3D-модель с реалистичным внешним видом, фотограмметрии часто бывает достаточно. Однако, если вам нужна геометрическая точность, лучше использовать профессиональное 3D-сканирование лазерным сканером, а еще лучше — объединить эти технологии для достижения наилучших возможных результатов.
Медиа: кино, телевидение, компьютерные игры
С помощью фотограмметрии игровая и киноиндустрия смогли улучшить свои возможности по созданию реалистичных сцен. Объединив фотограмметрию и 3D-сканирование, кинематографисты и разработчики виртуальных сред могут создавать реалистичные декорации из точных цифровых моделей.
Криминалистика
Метрическая фотограмметрия также стала играть важную роль в криминалистике. Во многих случаях именно мелкие детали имеют решающее значение. Возможность точно запечатлеть место преступления или аварии с точными измерениями может иметь решающее значение не только в судебных разбирательствах, но и для повышения безопасности на дорогах.
Примером может служить то, как, анализируя следы шин на снимке дорожного покрытия, следователи смогли определить, соответствуют ли следы заноса размерам автомобиля, которым управляла женщина, и его положению на дороге относительно второго автомобиля, который врезался в ее автомобиль и серьезно ее травмировал. Метрическая фотограмметрия оказалась решающей в разрешении противоречивых отчетов о положении двух автомобилей, когда произошла авария.
Как и в случае с CGI, в криминалистике также можно использовать 3D-сканирование и фотограмметрию. Оцифровка места преступления с помощью фотограмметрии, перед сбором улик, позволяет следователям точно запечатлеть расположение всех предметов и в любой момент вернуться к восстановленной в цифровом виде картине, чтобы рассмотреть всё в точности. Это позволяет, например, смоделировать то, как образовались пятна крови — векторы движения, скорость, траектории, — что дает возможность установить направление выстрелов или ударов.
Недвижимость и строительство
Фотограмметрия также используется для создания виртуальных моделей домов, которые могут просматривать потенциальные покупатели. Такой подход уже применялся для принятия решений о покупке во время пандемии. После Covid-19 применение онлайн-просмотров только увеличилось. Современная фотограмметрия позволяет агентствам недвижимости создавать виртуальные модели домов, которые они продают.
Аэрофотограмметрия широко используется инженерами на крупных строительных проектах. Благодаря своей точности на больших расстояниях, фотограмметрия используется инженерами наряду с дронами или самолетами для планирования и оценки крупных строительных проектов. Например, для определения таких параметров, как местоположение, в проектировании автомагистралей.
Данные метрической фотограмметрии могут использоваться для расчета объемов земляных работ, предоставляя важную информацию проектировщикам. Фотограмметрия используется и в ходе выполнения проектов, так как обеспечивает поэтапную 3D-визуализацию с течением времени.
Наука и исследования
В археологии способность картировать территорию и понимать планировку и структуру участка абсолютно необходима. Метрическая фотограмметрия дает археологам возможность быстро и точно картировать территорию и регистрировать найденные артефакты с привязкой к месту находки, что очень важно в этой науке. Возможность делиться 3D-рендерами также облегчает сотрудничество с другими археологами, которые могут находиться в любом месте на планете.
По сравнению с другими технологиями захвата, такими как 3D-сканирование, фотограмметрия в подводных исследования имеет важнейшее преимущество — ее можно использовать под водой, — подводные фотокамеры это далеко не редкость, чего не скажешь о подводных лазерных 3D-сканерах. Фотограмметрия позволяет создавать 3D-модели участков дна и находящихся под водой объектов, что не доступно никакими другими методами. У подводной фотограмметрии есть свой перечень проблем, таких как освещение, искажение света средой и многое другое, но эта технология уже продемонстрировала свою эффективность в этой области, от документации коралловых рифов до полномасштабного сканирования Титаника.
Как выбрать оборудование для фотограмметрии
Оборудование играет важную роль в процессе фотограмметрии, ведь результаты полностью зависят от используемых изображений. Такие факторы, как разрешение, освещение и глубина резкости играют решающую роль в точности и надежности измерений полученной модели. Подробные, четкие изображения имеют решающее значение.
Разрешение сенсора камеры имеет важное значение. Сенсор, матрица камеры — это то же, что сетчатка для человеческого глаза. Он преобразует свет, проходящий через объектив, в электрические сигналы, а электроника и алгоритмы камеры создают из них цифровое изображение. Чем больше датчик, тем больше точек вы запечатлеете, что означает более высокий уровень детализации. Тот самый случай, когда мегапиксели важны.
Качество и характеристики оптики также очень важны. Объектив — это то, что преломляет свет и фокусирует его на датчике камеры. Именно он определяет, что находится в фокусе, увеличение и угол обзора на изображении.
Объективы имеют линзу спереди и лепестковую диафрагму сзади. Изображение захватывается, когда затвор камеры открывается и закрывается, на короткое время пропуская свет на датчик через апертуру объектива. Все эти части объединяются, чтобы определить характеристики изображения, и поэтому являются важными факторами в фотограмметрии.
Фокусное расстояние объектива определит угол зрения, то есть поле захвата снимков. Фокусное расстояние относится к оптическому расстоянию в миллиметрах между датчиком камеры и точкой в объективе, где сходятся световые лучи. На практике фокусное расстояние определяет угол обзора и масштаб. Меньшее фокусное расстояние означает более широкое поле обзора и меньшее увеличение, поэтому камера может захватить большую часть сцены. В фотограмметрии вы обычно будете использовать фиксированное фокусное расстояние.
Диафрагме и фокусировке следует уделить внимание при любой фотосъемке, не менее важны они и для фотограмметрии. Число, обозначаемое как f, описывает, насколько широко открывается диафрагма объектива, чтобы впустить свет в камеру. Каждая единица f удваивает количество света, попадающего в камеру. Это дробное число — чем оно больше, тем меньше пропускающее свет отверстие, например: 1/16 больше, чем 1/32. Это от того, что f обозначает отношение фокусного расстояния объектива к диаметру диафрагмы.
Диафрагма напрямую определяет глубину резкости — какая часть сцены находится в фокусе. Широкая диафрагма будет держать тонкий слой изображения в фокусе и размывать остальное. Это может хорошо выглядеть, например, в портретной фотографии, где у вас есть четкий фокус на объекте и насыщенное размытое боке на заднем плане. Этот тип размытия известен как размытие фокуса. Чем меньше раскрыта диафрагма, тем выше резкость.
Скорость затвора — это то, как долго затвор камеры остается открытым и позволяет свету падать на датчик. Обычно она выражается в долях секунды. Помимо влияния на количество света, попадающего на датчик, скорость затвора также напрямую связана с размытием движения.
Если объект или камера двигаются, пока затвор открыт, полученное изображение будет размытым. Хорошей иллюстрацией этого эффекта является то, как фотография зависшего вертолета, при достаточно высокой скорости затвора, заморозит лопасти винта в движении, в то время как более медленная скорость затвора размоет их.
Если вы снимаете с рук, без штатива, вам нужно будет использовать достаточно короткую выдержку, чтобы компенсировать движения рук. Вы можете использовать штатив, чтобы камера оставалась неподвижной.
В конечном итоге, все эти факторы необходимо тщательно учесть, чтобы обеспечить получение наилучших результатов с помощью фотограмметрии. Качество фотограмметрии напрямую зависит от качества используемых изображений. Разрешение изображения, различные свойства объектива и настройки камеры, такие как фокусное расстояние, выдержка и другие играют ключевую роль.
ПО для фотограмметрии
В настоящее время на рынке представлен широкий выбор программного обеспечения для фотограмметрии. Выбор программы будет во многом определяться потребностями проекта.
Бесплатные решения для фотограмметрии, такие как 3DF Zephyr, AliceVision Meshroom или Visual SFM предлагают ограниченную функциональность и могут быть медленнее или давать менее точные результаты. Вам также может потребоваться установить дополнительные плагины, чтобы иметь возможность делать такие вещи, как создание текстурированных сеток с цветом. Они хороши для знакомства с технологией, но для профессионального применения вам понадобится профессиональное ПО, которое поставляется вместе с аппаратными комплексами.
Сравнение фотограмметрии и 3D-сканирования
Как и любая технология, фотограмметрия имеет свои ограничения и недостатки. Рассмотрим, в каких случаях она станет, возможно, не лучшим выбором. Если ваша цель — точные измерения, а цветовая информация не является приоритетом, вам следует использовать фотограмметрию только в том случае, если у вас есть хорошее оборудование и ПО, специально разработанные для применений, связанных с измерениями. Такие наборы обычно поставляются в максимальной комплектации и не требуют поиска каких-либо дополнений, обычно они включают в себя цифровую камеру, набор маркеров, точно откалиброванные масштабные линейки и ПО, часто также в комплекте надежный кейс для транспортировки.
Несмотря на свою точность и эффективность во многих областях применения, такой комплект может не подойти для других, так как создаёт разреженное облако точек, сильно уступающее в точности хорошему лазерному 3D-сканеру.
Существуют наборы оборудования и ПО, сочетающие в себе возможности 3D-сканирования, фотограмметрии и других методов измерения, вплоть до щупов — зондов для измерения глубины отверстий. Они идеально подходят для многих промышленных областей применения и значительно превосходят отдельно взятую фотограмметрию.
- Один из главных недостатков фотограмметрии в том, что она занимает много времени. Также она требует опыта для правильного выполнения, и даже с опытным и умелым оператором может не дать нужных вам результатов, если условия не совсем подходящие.
- Вам может потребоваться сделать десятки, а иногда и сотни фотографий, одну за другой, постоянно проверяя, что каждое изображение достаточно высокого качества, и что между изображениями есть достаточное перекрытие.
- Кроме того, если вы не потрудились подготовить сцену с контролируемым освещением, вам также нужно будет убедиться, что нет резких изменений в условиях освещения от одной фотографии к другой. Например, тень, которая падает на ваш объект на одной фотографии, также появится в финальной модели.
- Большинство ручных 3D-сканеров мало страдают от проблем с освещением, так как имеют собственные системы подсвета. Поэтому, если ваша цель — получить максимально качественную текстуру от сканирования в условиях недостаточного освещения, намного проще использовать ручные 3D-сканеры.
- Лучше использовать 3D-сканер и тогда, когда вам нужно плотное облако точек с высокой точностью.
- Фотограмметрия работает лучше всего тогда, когда вам нужна фотореалистичная текстура и у вас есть отличная камера — лучше, чем в 3D-сканере.
- Используйте фотограмметрию для целей измерения, только если у вас есть профессиональный комплект и вам не требуется высокая плотность точек на дюйм. Если вы измеряете здание или другой крупный объект с точностью “плюс-минус башмак”, для непрофессиональных целей, этого может быть вполне достаточно.
Выводы
Как мы выяснили выше, наилучший подход — иметь в своем арсенале и фотограмметрию, и 3D-сканирование.
Когда текстура имеет второстепенное значение, когда важнее создать плотные облака точек с минимальным шумом и очень высокой точностью, то 3D-сканирование оптимально. Лучшие 3D-сканеры обеспечивают чрезвычайно высокую скорость сканирования, автоматическую обработку и точность вплоть до долей миллиметра.
Если же ваш проект требует реалистичных текстуры и внешнего вида от получаемых моделей, и это приоритетнее микронной точности в размерах, то лучше обратиться к фотограмметрии. Объединение этих технологий в ваших руках позволит значительно расширить перечень задач, которые вы можете решить в области оцифровки 3D-объектов.
Где приобрести оборудование для фотограмметрии
Выбрать наиболее подходящее именно вам из наилучшего доступного на рынке оборудования для фотограмметрии и 3D-сканирования, получить исчерпывающую консультацию по нему и оформить заказ вы можете у резидента Сколково — компании Топ Станок.