Глубокие нейронные сети (DNN) - это класс нейронных сетей, которые состоят из нескольких слоев и могут использоваться для решения широкого спектра задач, таких как классификация, распознавание образов, обработка естественного языка и многое другое. Они отличаются от более простых однослойных и многослойных нейронных сетей тем, что содержат большое количество слоев (обычно от нескольких до десятков) и могут обучаться на большом объеме данных. Каждый слой в DNN состоит из множества нейронов, которые могут быть связаны с нейронами в предыдущем и последующем слоях...

Введение История вопроса: Современные высокопроизводительные глубокие нейронные сети (ГНН) для приложений компьютерного зрения состоят из нескольких слоев и включают в себя множество параметров. Эти сети имеют требования к вычислениям O(GigaFLOPS) и генерируют модели, которые являются O(мегабайтами) в хранилище (2016). Кроме того, требования к памяти и вычислениям во время тренировок и выводов весьма различны (2017). Тренировки выполняются на больших массивах данных с большими объемами пакетов, в которых доминирует память о активациях, занимаемая моделями...