Компания Nvidia, известная своими графическими процессорами, анонсировала новое дополнение к своей линейке инструментов разработки ИИ - комплект разработчика Jetson Orin Nano Super, представляющий собой миниатюрный генеративный суперкомпьютер ИИ, стоимостью 249 долларов, что вдвое дешевле его предшественника за 499 долларов.
Система, предназначенная для разработчиков ИИ, любителей и студентов, может похвастаться впечатляющими заявлениями о производительности, включая 67 INT8 TOPS (триллионов операций в секунду), что на 70% больше, чем у предыдущей модели. Компания также сообщает о 50%-ном увеличении пропускной способности памяти, достигающая теперь 102 ГБ/с, и об улучшении производительности генеративного вывода ИИ в 1,7 раза. Jetson Orin Nano Super обеспечивает принятие решений в режиме реального времени и быстрое реагирование при локальной обработке данных на устройствах.
В основе Jetson Orin Nano Super лежит графический процессор Nvidia на архитектуре Ampere с тензорными ядрами в паре с 6-ядерным Arm процессором. По словам Nvidia, эта комбинация позволяет использовать несколько параллельных конвейеров приложений ИИ и высокопроизводительный вывод данных. Комплект поддерживает до четырех камер и обеспечивает более высокое разрешение и частоту кадров по сравнению с более ранними версиями.
Nvidia подчеркивает универсальность комплекта, предполагая его пригодность для создания чат-ботов с большой языковой моделью (LLM) и роботов на основе ИИ. Однако эти возможности еще предстоит проверить независимыми тестами.
Компания Nvidia заявляет, что существующие владельцы комплекта разработчика Jetson Orin Nano могут получить доступ к аналогичному повышению производительности с помощью обновления программного обеспечения JetPack SDK. Этот шаг потенциально продлевает срок службы старого оборудования, но поднимает вопросы о необходимости покупки нового оборудования для некоторых пользователей.
Комплект поставляется с обширной поддержкой программного обеспечения, включая инструменты Nvidia AI, такие как Isaac для робототехники, Metropolis для ИИ-зрения и Holoscan для обработки датчиков. Компания также подчеркивает поддержку сообщества и учебные пособия, доступные через лабораторию Nvidia Jetson AI.
Хотя объявление Nvidia фокусируется на потенциале комплекта для приложений генеративного ИИ, стоит отметить, что практическое применение и ограничения такого компактного устройства в этой быстро развивающейся сфере еще предстоит оценить. Однако выпуск этого более доступного, высокопроизводительного комплекта может потенциально снизить порог вхождения для работы с ИИ. Выпуск устройства происходит в то время, когда растет интерес к вычислениям на ИИ.
Рынок периферийного ИИ переживает быстрый рост, и прогнозы указывают на увеличение с 20,45 млрд долларов в 2023 году до 269,82 млрд долларов к 2032 году при совокупном годовом темпе роста 33,3%.