Год назад я почти ничего не знал об этой захватывающей области ML (Машинного Обучения), даже не догадывался о её потенциале. Сейчас же я участвую сразу в трёх направлениях исследований, связанных с глубоким обучением с подкреплением. Как я это сделал? Я постараюсь кратко объяснить это в данной статье.
Когда я приступал к защите докторской диссертации по Байесовской оптимизации, мне пришлось изучать эту тему, читая соответствующие книги и статьи, что было действительно трудным процессом. Конкретно, Байесовская оптимизация была сложной темой, а в Интернете было доступно лишь несколько ресурсов, рассказывающих о ней. Однако при глубоком обучении с подкреплением всё обстоит с точностью до наоборот. В частности, множество ресурсов доступно онлайн. По иронии судьбы, необходимо предоставить не исчерпывающий, а содержащий только самую полезную информацию список, чтобы не тратить время на бесполезные ресурсы.
Топ-5 ресурсов
Я предлагаю вам ознакамливаться с данной темой в следующем порядке:
1. Hugging Face Deep Reinforcement Learning course: Возможно, лучший курс, который я когда-либо проходил. В потрясающей работе Томаса Симонини вы одновременно узнаете, как программировать и использовать алгоритмы DRL, используя среды StableBaselines3 и OpenAI Gymnasium, а также теорию, лежащую в основе обучения с глубоким подкреплением. Курс включает в себя таблицы лидеров, куда вы загружаете своих агентов, и они соревнуются в окружающей среде с агентами других игроков. Почти весь код содержится в Jupyter (его можно загрузить в Google Colab). Безумно сложно войти в топ-10 пользователей в разных средах. У них также есть канал Discord, где вы можете пообщаться с другими студентами на различные темы. Я искренне думаю, что мы все должны узнать об этом курсе, чтобы сделать преподавание увлекательным и с потрясающим контентом!
2. Foundations of Deep Reinforcement Learning: Theory and Practice in Python: Я включил эту книгу в данную рубрику, потому что у неё есть важное преимущество: её очень легко читать, и вы познакомитесь с ещё одним инструментом, SLM Lab, который вы также можете использовать для обучения ботов. Идея состоит в том, чтобы сначала пройти предыдущий курс, а затем продолжить этой книгой. Если вы сделаете это, то будете в курсе всех актуальных тем глубокого обучения с подкреплением.
3. Welcome to Spinning Up in Deep RL by OpenAI!. Теперь, когда вы получили основные сведения о глубоком обучении с подкреплением и знаете несколько инструментов, с помощью которых вы можете внедрять новые алгоритмы, настала очередь узнать, как войти в эту удивительную область исследований. И это прекрасно представлено на этой веб-странице OpenAI. Данный источник содержит большое количество доступных для исследований тем, таких как ключевые статьи в DRL и полезные бенчмарки. Удивительный ресурс!
4. Reinforcement Learning book by Sutton and Barto. Не совсем DRL, но на этом этапе вам понадобятся некоторые связи с другими областями (и эта книга прекрасно справляется с этим благодаря захватывающим главам по психологии и неврологии) и больше формализма. Я рекомендую вам эту книгу, чтобы вы не забывали основы обучения с подкреплением. Это продвинутая, менее практичная, но более теоретическая книга. Тем не менее, это классика, и из-за этого я думаю, что вы должны прочитать её, если собираетесь работать в этой области.
5. Li, Y. (2017). Deep reinforcement learning: An overview. arXiv preprint arXiv:1701.07274. Наконец, вам нужно выбрать направление своего исследования и получить широкое представление о том, что делается в процессе глубокого обучения с подкреплением. Этот обзорный документ великолепен для данной цели. Я рекомендую вам прочитать его, а затем поискать более свежие исследования по вашему конкретному направлению.
Удачи вам в этом процессе!!! Мне очень нравится данное направление исследований, главным образом потому, что это очень весело! Надеюсь, вы сможете найти в нём себя!