Вместо того, чтобы сосредоточиться на проектировании отдельных экземпляров сети( например, NAS), в этой статье разрабатываются пространства проектирования сети, которые параметризуют совокупности сетей, что означает изучение структуры сети (например, ширины, глубины, групп и т. Д.), Предполагая стандартные семейства моделей, включая VGG, ResNet и ResNeXt. Наконец, он получит низкоразмерное пространство проектирования, состоящее из простых “обычных” сетей — RegNet.
Андрей также объяснил причину, по которой Tesla AI использует RegNet:
- очень красивое дизайнерское помещение.
- Компромисс между задержкой и точностью.
RegNet
Просто в документе сначала разрабатывается начальное, неограниченное пространство проектирования AnyNet, а затем используется стандартный блок остаточных узких мест для формирования AnyNetX.Изображение выше(справа вверху на рисунке 4) представляет собой общую сетевую структуру сети AnyNet. Сеть разделена на три части:
Стержень: Используйте свертку (размер ядра =3, шаг =2, w0 = 32 выходных канала) для обработки изображений и разрешения, уменьшенного вдвое.
Тело: Выполняет основную часть вычислений. Тело сети состоит из последовательности этапов, которые работают с постепенно уменьшающимся разрешением ri. Каждый этап состоит из последовательности одинаковых блоков.
Руководитель: Прогнозирует nвыходные классы.
Этап: Все сверточные слои, создающие выходные карты одинакового размера, находятся на одном сетевом этапе. Карты объектов различных этапов используются для формирования сети пирамид объектов. (объяснено позже в статье)