Ученые из Университета Осаки создали систему машинного обучения, способную виртуально "сносить" здания. Используя алгоритмы генеративно-состязательных сетей (GAN), работающие на удаленном сервере, команда смогла получать и передавать картинку с удаленным строением в режиме реального времени на смартфон. Человек может сразу увидеть, что будет после сноса.
При обновлении городов периодически возникает необходимость сноса старых зданий. Но при этом неизбежно возникают споры, надо ли сносить здание, не пострадает ли ландшафт. Точки зрения всех заинтересованных людей трудно согласовать.
Исследователи из Университета Осаки решили помочь в решении этой проблемы. Они разработали алгоритм, основанный на машинном обучении, который в режиме реального времени генерирует видео с дополненной реальностью, демонстрирующей вид ландшафта после сноса здания.
Связь между мобильным устройством и сервером позволяет выполнять обработку удаленно, поэтому для съемки можно использовать любой смартфон или планшет, даже не слишком мощный.
Не так-то это просто снести дом, даже виртуально
Чтобы ускорить алгоритм, и он мог предоставлять дополненное видео в реальном времени, команда использовала семантическую сегментацию входного изображения. Это позволяет модели глубокого обучения классифицировать изображения попиксельно, в отличие от обычных методов, которые пытаются выполнить обнаружение трехмерных объектов.
Алгоритм использует две конкурирующие нейронные сети: генератор и дискриминатор. Генератор обучается создавать все более реалистичные изображения, в то время как перед дискриминатором стоит задача различать, насколько изображение реально. «Обучаясь таким образом, алгоритм может создавать изображения, которые на самом деле не существуют, но являются правдоподобными», — говорят ученые.
Следующий шаг - это научиться виртуально "строить" новые здания и показывать, как они будут смотреться в существующем ландшафте. Но это еще более сложная задача.