Эффективное глубокое обучение: опрос о том, как уменьшить, ускорить и улучшить модели глубокого обучения.

Глубокое обучение произвело революцию в области компьютерного зрения, естественного языка, речи, поиска информации и многого другого. Однако с ростом моделей глубокого обучения количество параметров, задержка, ресурсы, необходимые для обучения, значительно возросли. Следовательно, стало важно сосредоточиться на занимаемой площади модели, а не только на ее качестве. Мы представляем и мотивируем проблему эффективности глубокого обучения, за которой следует тщательный обзор пяти основных областей эффективности моделей и плодотворной работы в этой области. Мы также представляем основанное на экспериментах руководство для практиков по оптимизации своих моделей. Мы считаем, что это первый всеобъемлющий опрос в области эффективного глубокого обучения. Мы надеемся, что этот опрос предоставит читателю как ментальную модель, так и необходимое понимание области, чтобы, во-первых, применить общие методы повышения эффективности для немедленного получения значительных улучшений, а во-вторых, идеи для экспериментов для достижения дополнительных результатов.