Область ML развивается стремительно. Ещё год назад были невозможны те результаты, которые сегодня демонстрируют большие компании, стартапы и исследователи на крупных конференциях. Прогрессирует не только железо — специалисты придумывают всё новые подходы и архитектуры. Чтобы помочь вам сориентироваться в растущем многообразии методик, мы собрали четыре актуальных технических доклада. Внимание: два из них на английском языке.
Если в одном предложении встречаются слова «нейросеть» и «модная», то в нём идёт речь про генеративные состязательные сети. Только их никто так не называет — все говорят «ганы» (generative adversarial network, GAN). Сергей Овчаренко, руководитель группы нейросетевых технологий в Яндексе, описывает архитектуры ганов и использование разных архитектур в задаче улучшения качества видео.
⠀
Глубокое обучение с подкреплением (deep reinforcement learning) — ещё одна область, где происходит много интересного. Прогресс в ней позволяет успешно учить сети управлять роботами или показывать сверхчеловеческие результаты в играх. Кроме того, обучение с подкреплением позволяет голосовому помощнику Алисе быть интересным собеседником. Посмотрите доклад Вячеслава Алипова, старшего исследователя-разработчика, чтобы узнать подробности.
⠀
Техники тренировки нейронных сетей тоже меняются — даже если мы говорим про сети с более традиционными архитектурами. Сегодня дата-саентисты настраивают обучение немного по-другому, чем в прошлые годы. Татьяна Гайнцева из Школы анализа данных показывает два эффективных способа тренировать сети: dropout («метод исключения») и batch normalization («пакетная нормализация»). Это видео подготовлено с учётом трендов первой половины 2019 года.
⠀
Но не сетями едиными. Градиентный бустинг остаётся популярным и во многих случаях самым эффективным методом машинного обучения. За разработку CatBoost — опенсорсной библиотеки бустинга от Яндекса — отвечает Анна Вероника Дорогуш, руководитель группы ML-систем. Аня часто рассказывает про CatBoost на зарубежных конференциях. Ниже — последняя версия её доклада. Вы узнаете, как пользоваться градиентным бустингом для классификации объектов и в других задачах.