В этом году организаторы технологических конкурсов НТИ Up Great предложили участникам разработать решения для поиска пропавших людей и пригласили в качестве эксперта поисково-спасательный отряд «ЛизаАлерт». В год они получают 40 тысяч заявок на поиск и с 2018 года привлекают не только добровольцев, но и технологии БПЛА и нейросетей. В этом материале расскажем, как «ЛизаАлерт» работает сейчас и каких решений ждут от инженерных команд.
От заявки до вылета
Евгений Герасимов, руководитель направления беспилотной авиации «ЛизаАлерт», рассказал нам, как дополняют поиск технологиями. Сначала на горячую линию отряда приходит заявка от родственников, МЧС, полиции или других служб. К ней прикрепляют координатора, который выясняет подробности и решает, кого нужно привлечь: кинологов, беспилотники, вертолеты.
Если нужны беспилотники, кидают клич по пилотам нужного региона. Как только кто-то откликнулся, авиакоординаторы закрывают воздушное пространство. На всю подготовку уходит всего полчаса. С помощью планировщика софта один оператор может управлять четырьмя дронами.
С 2019 года «ЛизаАлерт» ежегодно запускает по 600 до 800 вылетов.
Беспилотник и нейросеть экономят время
Беспилотники используют в тех локациях, куда людей отправлять опасно или где искать пешком слишком долго. Например, в поля с высокой травой, в бурелом, непроходимый лес или акваторию. Над плотным лиственным лесом практически не летают — только над участниками с редкими деревьями или лесными болотами.
Беспилотники экономят время: квадрат 500 на 500 метров с высокой травой пешая группа из пяти человек прочешет за 5–8 часов. Беспилотник выполняет эту задачу за 8 минут.
Он сделает 300–320 фотографий. А дальше нейросеть, которую отряд разработал с «Билайном» в 2019 году, за 150 секунд проанализирует эти материалы.
Если человек на снимках не найден — это не плохо. Это значит, что его там нет и можно не тратить время пеших отрядов.
Нейросеть сканирует две фотографии в секунду
Обычно фотографии с беспилотника передают в группу просмотра и параллельно анализируют нейросетью. В обоих случаях нужно вынуть из дрона флешку и скинуть снимки.
Нейросеть не работает на борту — только в компьютере на земле.
Беспилотник возвращается на замену батареи через полчаса после взлета, вместе с ней меняют флешку и отправляют в небо. Флешку со снимками вставляют в ноутбук, нейросеть офлайн проверяет снимки. Первые данные получают спустя полчаса. Когда дрон прилетает на вторую замену батареи, снимки с первого полета уже проверены.
История про дедушку
Евгений Герасимов рассказал нам историю про дедушку с деменцией, который ушел в лес и потерялся. В поиске важны и опыт, и логика. По поставленной координатором задаче ничего не нашли, но решили пролететь еще одно направление: решили, что дедушка мог уйти туда. Хотя все происходило ближайшем Подмосковье, связи не было. Передать снимки в группу просмотра было невозможно.
Нейронка нашла дедушку. Он лежал в траве полураздетый. Когда человек замерзает, происходит непроизвольное сужение кровеносных сосудов кожи, человек ощущает «горячую вспышку» и срывает одежду — это называется гипотермия. Поисковики решили, что мужчина погиб.
Но на втором снимке его рука была в другом положении. Значит, на момент полета он был еще жив. С момента, когда беспилотник сделал снимок, прошло чуть меньше часа, группа оперативно отправилась в то место, нашла дедушку и передала его в реанимацию.
Дедушка выздоровел и жив до сих пор, но спасатели не успели бы, если бы искали «на ногах».
«ЛизаАлерт» не берет добровольцев с беспилотниками
Нельзя просто приехать на поиск и полетать с личным беспилотником. Сначала нужно обучить пилота особенностям поисковых вылетов — на это нужно время. Если устройства делают некачественные снимки, время поиска будет потрачено впустую — это критично. И к тому же поменялось законодательство — теперь все дроны должны быть на учете Росавиации. Без этого нельзя закрыть под них воздушное пространство.
С китайских беспилотников перейти сложно
У отряда китайские DJI Mavic, Mavic 2 и Mavic 2 Pro, Phantom и Enterprise Advanced. Есть также промышленные беспилотники этой компании. К примеру, DJI Matrice 300 RTK (M300 RTK). Отечественные тоже есть — ижевской компании ZALA, но эта модель слабо подходит под частые задачи.
Как только найдут хорошую российскую альтернативу, от китайских откажутся. Уже есть компании, которые делают качественные аппараты, подходящие под нужды «ЛизаАлерт». Но цена неподъемная. Китайский влагоустойчивый беспилотник с тепловизором и обычной камерой можно купить за 3 миллиона рублей, такой же российский — за 20–30 миллионов рублей.
Беспилотный парк хотят пополнить VTOL-суднами — беспилотниками вертикального взлета и посадки, или конвертопланами.
Отряд использует тепловизоры, планирует применять мультиспектральные камеры и лазерные лидары, вырезать нужный спектр для анализа полей и буреломов. Найти отечественные технологии — это одна из причин, по которым отряд стал партнером конкурса Up Great.
Конкурс Up Great «Экстренный поиск»
Юрий Молодых, директор технологических конкурсов НТИ Up Great, рассказал про особенности проведения конкурса «Экстренный поиск» в рамках Национальной технологической инициативы. Разработчики небольших беспилотников, которые участвуют в конкурсе, смогут продвинуться в развитии технологий ИИ и конкретно технического зрения. И все это в ходе задач поиска и нахождения людей с беспилотника, который выполняет полетное задание на автопилоте.
Сам беспилотник не так важен. Задача — сложная техническая схема, которая сможет решить комплексную задачу.
Для «ЛизаАлерт» главный критерий для оценки — соотношение цены и качества, потому что отряду важно иметь возможность закупить, внедрить и получить эффект.
Конкурс проходит в три этапа
Этапы называют сателлитами. На каждом следующем этапе сложность увеличивается. Первый без беспилотников: до конца июня участники разрабатывают нейросеть, которая должна найти на снимках максимальное количество объектов с минимальным количеством ошибок. Любое нейросетевое решение с использованием ИИ нуждается в обучающей выборке.
Для конкурса организаторы собрали и продолжают пополнять самый крупный в России датасет снимков людей с беспилотника.
На втором этапе в августе пройдут натурные испытания. В одной из точек типичной средней равнинной российской местности нужно будет за 45 минут сделать 2–3 вылета и найти всех людей. Участники не будут знать, сколько людей надо найти, — это снижает фактор удачи. Кто найдет максимальное количество «пропавших», тот и получит больше баллов.
МФТИ проведет испытания
Максим Кудров, директор Передовой инженерной школы радиолокации, радионавигации и программной инженерии МФТИ, рассказал нам, как будет проходить второй сателлит конкурса.
Беспилотники участников будут летать в автоматическом режиме в реальных рабочих условиях отряда «ЛизаАлерт». Нейросеть может быть установлена прямо на борту, чтобы распознавать изображения прямо в полете, или на компьютере. Важно все: время, стоимость, качество.
Финалисты соединят беспилотник и нейросеть
В финале участники представят единое решение, включающее любой вид беспилотника, который реально заказать для отряда, и нейросеть.
Это могут быть и самосборные аппараты, главное, чтобы была возможность быстро наладить производство. Если у команды нет своего беспилотника, но есть отличная нейросеть, которая хорошо проявила себя по итогам первого сателлита, организаторы предоставят беспилотники для дальнейшего участия. Не самые мощные с технической точки зрения, зато очень бюджетные. С высокоточной нейросетью это будет хорошо тиражируемая технология.
Финал запланировали на сентябрь. Условия похожи на второй этап, но время на поиски уменьшается с 45 минут до 30, плюс возможны более суровые погодные условия, потому что будет уже осень.
Если погода летная, осадки небольшие и ветер не больше 15 м/с, то испытания должны состояться, а команды — вылететь на поиск.
Победителей второго и третьего этапов определят по таким факторам:
- Количество найденных людей. Без ошибок.
- Количество ошибок. Если найден человек, которого на самом деле на снимке нет, будет штраф.
- Вес всей системы. Беспилотник + аккумуляторы + наземная станция (и ноутбук, если нужен), должны весить не более 30 кг, чтобы их могли транспортировать 1–2 человека. Чем система легче, тем больше баллов.
- Время поиска. Каждая сэкономленная секунда и минута прибавляет баллы. На все попытки дается не более 30–45 минут.
Также в финале добавляется критерий стоимости. Лучше купить два-три аппарата с меньшей эффективностью, чем один, но в три раза дороже. В год пропадает по 40 000 человек, и искать их нужно с большим парком техники.
Деньги и партнерство с отрядом
В первом, нейросетевом, сателлите три лучшие команды поделят пять миллионов рублей. Во втором сателлите — 30 миллионов рублей. В финале три команды разделят 100 миллионов. Их система должна найти в поле не меньше 80% статистов.
Фонд НТИ, как главный организатор, получит код, документацию, руководство пользователя и передаст лицензию в поисково-спасательный отряд «ЛизаАлерт».
Развитие технологий на этом не остановится: права на дальнейшее развитие и коммерциализацию останутся и у самих разработчиков. Они будут развивать точность своих систем и зарабатывать на своих решениях.