Крупные облачные провайдеры последовательно осваивают всё новые и новые ниши, предлагая всё более комплексные и специализированные решения. Но при всех своих преимуществах, облачные технологии не всегда подходят для любого сценария, поэтому для локализованной обработки данных на периферии без пересылки их в облако приходится создавать новые решения вроде AWS Panorama Appliance.
Panorama Appliance — не совсем обычный продукт для AWS, поскольку речь действительно идёт о классическом аппаратном устройстве, которое может быть приобретено как обычный сервер или любой другой компонент ИТ-инфраструктуры, а не просто сдаётся в аренду. Предназначено оно, как можно догадаться из названия, для систем машинного зрения.
В основе новинки лежит NVIDIA Jetson Xavier AGX, достаточно мощная сама по себе платформа. Напомним, сердцем данного модуля является 8-ядерный процессор с архитектурой ARM v8.2, дополненный 512 ядрами Volta и 64 ядрами для тензорных вычислений, а также контроллером LPDDR4X (256 бит) с пропускной способностью 137 Гбайт/с.
Эта связка развивает 11 Тфлопс на вычислениях FP16 и 22 Топс при работе с INT8, что уже весьма немало. Однако это не всё: два дополнительных движка NVDLA дают ещё 5 Тфлопс в FP16 и 10 Топс в INT8, а за функции машинного зрения отвечает отдельный VLIW-сопроцессор. Чип умеет декодировать одновременно восемь HEVC-видеопотоков 8К@30, а декодировать — двенадцать.
Основным сценарием, как и было сказано, является классификации данных, поступающих с видеокамер, с помощью ИИ-моделей. Интеграция с сервисом AWS SageMaker предусмотрена, но не является обязательной — Panorama Appliance может функционировать и автономно. Поддерживаются модели, созданные с помощью Apache MXNet, DarkNet, GluonCV, Keras, ONNX, PyTorch, TensorFlow или TensorFlow Lite. Стоит устройство $4000 + каждый уникальный видеопоток оплачивается отдельно ($8,33/мес.).