📄 В декабре прошлого года Европейское агентство по авиационной безопасности (EASA) опубликовало свою первую регуляторную инициативу, касающуюся использования искусственного интеллекта в авиационной отрасли: NPA 2025-07 (B) — Proposed detailed specifications and associated acceptable means of compliance and guidance material for AI trustworthiness (DS.AI).
Этот важный шаг соответствует стремительному развитию технологий и необходимости обеспечить их безопасность и надежность в рамках существующих нормативных требований.
Документ - часть усилий по адаптации нормативной базы к быстро развивающимся технологиям ИИ, чтобы обеспечить их безопасное применение в будущем.
❗ Что еще раз убедительно демонстрирует: применение искусственного интеллекта в авиационной индустрии - это не фантазия, а уже наступившая реальность, которую невозможно игнорировать.
📘 Краткое содержание документа NPA 2025-07 (B)
Документ NPA 2025-07 (B) - это предложение по стандартам и руководствам, предназначенным для повышения доверия к системам искусственного интеллекта (ИИ) в авиационной отрасли.
Он содержит подробные технические спецификации, допустимые методы подтверждения соответствия и рекомендации по обеспечению надежности ИИ-систем.
🎯 Основная цель документа - обеспечить безопасность и предсказуемость ИИ, внедряемых в авиацию, через установление общих требований и процедур оценки.
В нем описаны ключевые аспекты проверки, включая:
- управление рисками,
- тестирование,
- прозрачность,
- постоянный мониторинг систем во время эксплуатации.
Обоснование необходимости стандартов для доверия к ИИ
В документе подчеркивается, что развитие технологий ИИ требует выработки единых нормативных требований, способных обеспечить системное подтверждение их безопасности и эффективности.
Особо выделяется, что системы, связанные с критическими для авиационной безопасности компонентами, требуют особых мер контроля и надежности, реализуемых посредством строгих процедур оценки и сертификации.
🧭 Области применения ИИ в авиации
Определены сферы использования ИИ, к которым применимы эти стандарты.
В основном - это системы, важные для авиационной безопасности, такие как:
- автоматизированные системы управления полетом,
- навигации,
- мониторинга.
Также описывается, кто должен соблюдать эти требования:
- разработчики,
- операторы,
- регуляторы.
⚙️ Требования к надежности ИИ
Приведены основные требования, которым должна соответствовать ИИ-система:
- Надежность и безопасность — системы должны работать предсказуемо и без опасных ошибок.
- Управляемость — наличие механизмов обнаружения и исправления ошибок.
- Стандартизация и прозрачность — чтобы можно было понять, как работает ИИ, и подтвердить его безопасность.
📌 В документе подчеркивается, что надежность — это не только качество кода, а все системные процессы, тестирование и мониторинг.
🧪 Методы подтверждения соответствия ИИ
Приведены возможные методы подтверждения соответствия ИИ:
- проведение испытаний в лабораторных условиях;
- моделирование сценариев эксплуатации и проверки системы;
- анализ логов, данных и журналов для выявления возможных несоответствий;
- аудит схем машинного обучения, тестовых процедур и алгоритмов.
🏗 Практические рекомендации по внедрению ИИ
Подчеркнута важность четкого планирования и организации работы по внедрению ИИ-продуктов:
- разработка внутренней стратегии соответствия стандартам;
- создание процессов тестирования, оценки и постоянного мониторинга;
- ведение полной документации и подготовка отчетов;
- выбор методик сертификации и проведения необходимых испытаний.
✅ Процедуры проверки и сертификации ИИ
Приведены возможные процедуры подтверждения соответствия ИИ применяемым стандартам:
- внутренние проверки и аудит систем безопасности и надежности;
- внешняя экспертиза и официальная сертификация;
- постоянное оценивание эффективности и безопасности после внедрения системы.
🔮 Обобщение и перспективы развития нормативной базы для ИИ
В заключении подчеркивается необходимость постоянного совершенствования нормативной базы с учетом динамичного развития технологий ИИ.
Важность соблюдения процедур, регулярные обновления требований и развитие методов оценки выделяются как ключевые факторы обеспечения доверия к ИИ в краткосрочной и долгосрочной перспективе.
✈️ Особенности процесса сертификации системы с использованием ИИ
Если углубиться в тему процесса сертификации систем с использованием ИИ в соответствии с рекомендациями Р-4754А, КТ-178C, КТ-254, то можно сделать вывод, что процесс сертификации такого изделия будет иметь ряд особенностей.
Перечислим некоторые из них.
1️⃣ Системный уровень (по Р-4754А)
Какие могут быть особенности для ИИ:
Анализ функций ИИ
Помимо описания основных функций изделия, необходимо будет определить, какие функции ИИ будет выполнять, как он будет взаимодействовать с другими системами, и понять потенциальные источники ошибок или сбоев, связанные с обучением и адаптацией.
Моделирование и оценка рисков
Потребуется моделирование сценариев, в которых ИИ может ошибиться или дать неожиданный результат, учитывая его способность к самостоятельному обучению и самоадаптации.
⚠️ Особое внимание должно уделяться рискам, связанным с неконтролируемыми изменениями поведения системы.
Управление изменениями
Потребуется разработка правил для контроля версий моделей ИИ, обучения на новых данных, а также критериев эффективности и безопасности для каждого обновления.
2️⃣ Уровень ПО (по КТ-178C)
Какие могут быть особенности для ИИ:
Проектирование и обучение моделей
В отличие от статического кода, ИИ-системы часто создаются с помощью алгоритмов машинного обучения, что требует особых методов документирования и проверки тренировочных данных, метрик обучения и алгоритмов.
Трассируемость
Обеспечение возможности прослеживать каждую итерацию обучения, параметры моделей, используемые данные, а также способы их обновления, что важно для аудита и последующего сертифицированного подтверждения.
Тестирование и валидация
Необходимо разработать сценарии тестирования, которые покрывают как тестирование кода, так и оценку работы модели ИИ на различных наборах данных, а также проверку надежности и устойчивости системы при различных условиях эксплуатации.
3️⃣ Уровень аппаратуры (по КТ-254)
Какие могут быть особенности для ИИ:
Выбор аппаратных решений
Важна поддержка вычислительных мощностей для обучения и работы моделей ИИ (GPU, TPU), а также повышение отказоустойчивости таких систем, чтобы обеспечить безопасную работу.
Документирование
Создание дополнительной документации на аппаратные компоненты, ускорители нейросетей, FPGA и др.
Интеграция с программным обеспечением
Контроль за взаимодействием аппаратных платформ и обученных моделей ИИ, а также обеспечение их устойчивости к отказам или ошибкам.
4️⃣ Верификация, валидация и демонстрация безопасности (на всех уровнях)
Какие могут быть особенности для ИИ:
Моделирование сценариев работы ИИ
Использование симуляторов и виртуальных сред для проверки поведения системы в различных ситуациях, включая редкие и экстремальные случаи.
Тесты на безопасность
Проверка, как ИИ реагирует на непредвиденные ситуации, некорректные данные или внезапные сбои, с целью убедиться в отсутствии опасных ошибок.
Обеспечение отказоустойчивости
Важно демонстрировать, что система с использованием ИИ сможет безопасно отключиться или перейти к безопасному состоянию в случае ошибок или сбоев.
5️⃣ Документирование и сертификация
Какие могут быть особенности для ИИ:
Модификация документации
Включение метрик обучения, описания данных, алгоритмов, процессов обновления модели ИИ и критериев допустимых изменений.
Отчеты о прозрачности
Документы должны ясно показывать, как ИИ принимает решения, какие алгоритмы использованы, а также механизмы их верификации и диагностики.
Дополнительные аспекты для документирования
Регуляторы могут потребовать оценки не только конечного продукта, но и процессов его обучения, регулярных обновлений и механизмов контроля.
Пояснительная документация
Необходимо будет предоставить подробную информацию о том, как система обучается, как контролируется качество данных и каким образом обеспечивается способность к постоянной проверке и адаптации.
Обеспечение прослеживаемости и повторяемости
Сертификационные органы должны будут иметь возможность проследить каждое изменение в системе, чтобы убедиться в безопасности новых версий или моделей ИИ.
📌 Выводы
Процесс сертификации ИИ в авиации потребует не только соблюдения стандартных и уже привычных нам процедур сертификации, но и учета новых аспектов, связанных с автономностью, обучением и динамическим поведением систем с использованием ИИ.
Создание надежной, прозрачной и безопасной системы ИИ — это вызов, который требует новых методов оценки, тестирования и документирования.
Однако опыт и стандарты уже находятся в стадии формирования и обсуждения, что позволяет планомерно двигаться к безопасной интеграции технологий будущего.
💬 Хотите обсудить будущее авиации с ИИ?
Предлагаем вам порассуждать в комментариях:
✈️ Где потенциал ИИ в авиации есть, но пока еще не реализован в полном масштабе?
🤖 Что бы вы хотели автоматизировать в авиационной сфере благодаря ИИ?