Повысить безопасность работы железнодорожного транспорта, а в перспективе максимально автоматизировать процессы управления подвижным составом позволяет система обнаружения препятствий, которую разработали специалисты компании «ТМХ Интеллектуальные cистемы». Ранее технология, основанная на искусственном интеллекте, уже доказала свою эффективность на маневровых локомотивах, следующим этапом стало её успешное тестирование на электропоезде ЭГ2Тв «Иволга».
Изначально научно-практические исследования в итоге привели к созданию системы обнаружения препятствий. Специалисты «ТМХ ИС» около пяти лет назад подключились к разработке гибридного маневрового локомотива с функцией дистанционного управления.
Одной из технологий, которую необходимо было внедрить в рамках проекта, стало машинное зрение. При этом локомотив должен был не просто наблюдать и показывать машинисту обстановку вокруг, но и «считывать» различные препятствия.
Алгоритмы и нейросети получая данные от лидаров и видеокамер высокого разрешения формируют оперативную информацию для вывода на монитор машинисту в кабине управления
Алгоритмы системы обнаружения препятствий не только определяют расстояние , но и классифицируют принадлежность по типу препятствия. Добавьте описание
Мертвые или скажем слепые зоны для обзора из кабины машиниста теперь под неусыпным контролем автоматики.
Система подскажет на мониторе, подаст звуковой сигнал и при отсутствии реакции заблокирует движение локомотива.
Машинное зрение сейчас активно применяться на маневровых локомотивах, которые работают на крупных промышленных предприятий. Технология уже хорошо зарекомендовала себя в ходе использования в условиях реального масштабного производства на промышленных предприятиях ППЖТ.
ФО "Трансмашхолдинг" продолжает наращивать и совершенствовать выпуск современных пассажирских электропоездов ЭГ2Тв «Иволга». Решение оснастить их системой обнаружения препятствий стало вполне закономерным, однако адаптация уже действующей технологии к условиям и требованиям конкретного поезда потребовала серьезных исследований и испытаний.
— Достаточно сказать, что маневровые локомотивы двигаются с относительно небольшой скоростью, — поясняет ведущий конструктор бортовых систем Дмитрий Черкасов. — Соответственно, тормозной путь у маневрового локомотива гораздо меньше. Если локомотиву для экстренной остановки достаточно увидеть препятствие за 50, максимум 100 метров, то для электропоезда это совершенно другие цифры, в несколько раз выше. Так что, приступая к реализации нового проекта, мы понимали, что нам предстоит довольно большая научно-исследовательская работа. И она, помимо прочего, должна включать масштабные полигонные испытания подвижного состава, оборудованного камерами, сенсорами, вычислителями: чтобы собирать данные и тестировать технологию в разных режимах.
Машинное зрение сегодня широко востребовано на транспорте, особенно автомобильном: там шире рынок, небольшие тормозные пути машин, короткие циклы поездок «от стоянки до стоянки». Хотя ключевые принципы работы технологии схожи как на автотранспорте, так и на локомотивах, ее реализация на железных дорогах имеет ряд существенных отличий, которые усложняют разработку и внедрение. В частности, нужно учитывать тормозные пути протяженностью в сотни метров, сложноорганизованную специфическую инфраструктуру, знаки и сигналы, подаваемые людьми, сложный доступ к сбору данных и обкатке в реальных условиях, тяжелые условия эксплуатации и длинные циклы обслуживания. В зарубежных странах задачи в сфере автопилотирования для железнодорожного подвижного состава решают всего несколько исследовательских центров, расположенных в Австралии, Японии и Германии. В одном ряду с ними стоит и «ТМХ Интеллектуальные системы».
Я узнаю тебя из тысячи
Новая технология призвана объединить все решения, способные обеспечить максимальную автоматизацию управления подвижным составом. Иными словами, благодаря ей электропоезд может эксплуатироваться на линии без участия человека. Для этого команде проекта предстояло обучить систему обнаружения препятствий целому ряду навыков:
• Распознавать и классифицировать людей, определяя их статус: рабочий или обычный человек;
• Идентифицировать основные объекты железнодорожной инфраструктуры: железнодорожные пути, другие поезда, светофоры (с распознаванием цвета сигнала), платформы, столбики, остряки;
• Устанавливать принадлежность светофоров и стрелок к «своему» пути;
• Детектировать объекты гражданской инфраструктуры: автомобили, велосипеды и пр.;
• Определять местоположение поезда и расстояние до ближайших важных статических объектов: платформ, вокзалов и т. д.;
• Строить зону габарита — «коридор», в котором разрешено движение поезда. В нем учитываются положения стрелочных переводов и сигналов светофоров, принадлежащих пути следования, а также размеры опасной зоны, где не должно быть объектов. Координаты этой зоны рассчитываются системой, и если какой-либо объект попадает в нее, то это является сигналом к принятию решения о реакции на обнаруженный объект в зависимости от его типа.
Обучение системы осуществлялось с помощью нейросетей. Чтобы она умела распознавать самые разнообразные объекты, было задействовано огромное количество изображений.
— Обучение проходило на огромном количестве данных — это изображения со множества камер разного разрешения и параметров оптики, при различных погодных условиях и с разных ракурсов, — поясняет Дмитрий Черкасов. — При этом мы использовали как реальные изображения, так и сгенерированные на виртуальных полигонах. Также применяли технологию стереозрения, когда две камеры работают одновременно и синхронно строят картинку, по которой можно с определенной точностью установить расстояние до объекта. Также дальность до объекта высчитывалась с помощью лидаров. Приходилось учитывать, что поезд движется с достаточно большой скоростью. Потребовалось подобрать оптимальное количество сенсоров, лидаров и камер и синхронизировать их в определенной последовательности. Для этого использовался сложный алгоритм синхронизации и обработки.
Более того, в рамках проекта была разработана система контроля посадки и высадки пассажиров. По существующим инструкциям эти функции сегодня исполняет помощник машиниста, который, убедившись, что возле дверей не осталось людей, дает машинисту сигнал о возможности отправления. Теперь система позволит избежать ошибок из-за человеческого фактора: ситуация в зоне высадки/посадки отслеживается с помощью видеокамер, после чего подается сигнал на пульт машинисту. А еще это ускорит процесс отправления со станции, что важно в условиях все сокращающегося интервала движения.
Особенно остро стоит вопрос безопасности. Для технологий машинного обучения привычный процесс доказательства безопасности неприменим. Классический подход и требования к вероятности опасных отказов используются сейчас для проектирования «скелета» системы — аппаратной структуры и программного взаимодействия межу компонентами на нижнем уровне. Эффективность и безопасность машинного зрения и других технологий автоматизации, которые заменяют человеческие органы чувств, разумнее измерять относительно работы человека в тех или иных условиях, в разных отраслях. Для этого «оцифровываются» показатели работы человека, а для определения количества ошибок системы постоянно тестируются как на реальных полигонах, так и в виртуальной среде.
Сложные алгоритмы
С технической точки зрения система обнаружения препятствий представляет собой тщательно подобранный и синхронизированный комплекс оборудования, устанавливаемого на электропоезд. В частности, применяются специализированные камеры нескольких видов с качественными матрицами, различным фокусным расстоянием и панорамными характеристиками — для отслеживания как общего плана, так и ближней зоны. Используется стереопара — две камеры, эмулирующие человеческое зрение (на основе этой технологии строится карта глубины кадра).
Уровни освещенности контролируются с помощью люксметров, показатели которых позволяют системе адаптироваться под разные условия. Однако при резкой смене света и темноты, например при выезде из тоннеля, камеры не успевают адаптироваться, и в таком случае подключаются лидары — лазерные радиолокационные устройства, которые не зависят от внешней оснащенности. В то же время лидары очень чувствительны к осадкам и туману, поэтому могут сбоить при определенных условиях. Чтобы техника дополняла друг друга и осуществлялся взаимоконтроль, специалисты «ТМХ ИС» разработали сложные алгоритмы. Для определения местоположения поезда используется комплексный подход к позиционированию — ГНСС-навигатор, инерциальная система, SLAM-технологии и специально составленные карты, на которые среди прочего нанесены статичные объекты по пути следования, определяемые системой.
В процессе работы над проектом исследователи испытывали и другие различные средства. Например, тепловизоры, с помощью которых в темное время суток можно четко определять людей, животных, автомобили и прочие источники тепла. Однако по данным тепловизора оказалось невозможно определять точное расстояние до объекта, а также совмещать показатели с данными других устройств. Кроме того, тепловизоры оказались дорогими в эксплуатации и в то же время дефицитными на рынке, поэтому от них пока решили отказаться.
— Данные от сенсоров в режиме реального времени поступают в вычислитель, где происходят их обработка и совмещение, чтобы получить полную и точную картину окружающей среды в математическом виде, — объясняет руководитель отдела по машинному зрению Константин Шутилов. — Далее данные анализируются специально обученными нейросетевыми алгоритмами — они «ищут» классы и конкретные типы объектов. После этого алгоритмы принятия решений используют полученные результаты для формирования окончательного решения: какие объекты обнаружены, на каком расстоянии, где они находятся относительно поезда и т. д. На основании полученной информации и принимаются решения по управлению движением.
Кстати, еще одной непростой задачей стало проектирование установки всех устройств и компонентов системы на разрабатываемый новый электропоезд, чтобы они не мешали работе штатного оборудования и в то же время могли полноценно выполнять свои задачи.
— Современные поезда и так сегодня донельзя нашпигованы всем чем можно, оборудование размещать там буквально негде, с каждым новым составом мы сталкиваемся все с большими вызовами, — рассказывает Дмитрий Черкасов. — Вместе с разработчиком поезда мы размещаем различные устройства в таких местах, где и предположить сложно: это и стенки, и фальшпанели, и под потолком, и под вагоном. Это как чемодан собираешь перед отпуском и футболками заполняешь все ниши.
От завода до рейса на линии
Эффективность системы обнаружения препятствий, разработанной для электропоезда «Иволга», была подтверждена в ходе испытаний, которые проходили на полигоне Москва — Усово. Система работала с частотой пять циклов в секунду, визуализируя результаты своей работы дважды за секунду. Заложенные разработчиками характеристики полностью подтвердились: в каждом цикле происходят обнаружение и идентификация объектов в зоне видимости до 600 метров во всем поле зрения сенсоров, а также принятие решений на основе полученных данных. Углы обзора начинаются от 12 градусов и достигают 110 градусов в зависимости от дальности сканирования (например, для самых дальних зон, до 600 метров, используются углы обзора в 12 градусов, а для ближних зон, до 150 метров, — 110 градусов).
В дальнейшем система обнаружения препятствий будет интегрирована с другими системами управления поездом, что позволит в зависимости от окружающей обстановки автоматически реагировать на препятствия. Кроме этого, планируется развитие алгоритмов в части, касающейся точности и стабильности построения зоны габарита (проецируемый «коридор» вдоль железнодорожного пути, в котором двигается поезд), отсечения «неважных» частей поля зрения, улучшения точности работы стереопары (погрешность определения расстояния — не более 10% на любой дистанции).
Статья в журнале «Вектор ТМХ»