第14回 強化学習アーキテクチャ勉強会

はじめに

強化学習は環境に柔軟に適応する知能エージェントにおける基本機能と考えられます。近年は深層学習などのアーキテクチャとして、認識技術と組み合わされて自動運転などの実践的な場でつかわれれはじめており、さらにロボットなどにおいても今後は適用されてゆくシーンが増えてゆくでしょう、こうした背景から、実践的な強化学習や，実世界で動かす強化学習（ロボット・自動運転），強化学習を部品として組み合わせる（アーキテクチャ），といったトピックについて重視し情報共有する場として強化学習アーキテクチャ勉強会を開始しました。

本勉強会において積極的に議論に加わっていただき、今後、論文紹介などの形で貢献いただけるかたの参加をお待ちしております。

当勉強会の運営方針などについては、https://rlarch.connpass.com/ を御覧ください。

• Google Group : https://goo.gl/xznKlY （注：KlYのIは「L」の小文字です）
• Slack : https://join.slack.com/t/rlarch/shared_invite/MjM2Mzc3MDE1MzYyLTE1MDQ2MjIzNDItNjFmNmU2NWJlYg

スケジュール

• 18:50 〜18:55 オープニング
• 18:55〜19:40 講演：IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures 発表・質疑応答45分

※ 19:00にビル入り口が施錠されるため、19時以前に起こしください（万が一19時を過ぎてしまった場合はインターホンにてご連絡ください）

講演概要：

発表者：関谷 英爾 (DeNA)

• タイトル： IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures

• アブストラクト： 先月(2/5)、DeepMindからIMPALAという分散強化学習のアーキテクチャに関する論文が発表された。シンプルで強力な分散アーキテクチャとその学習安定化のために新しいオフポリシー学習アルゴリズムV-traceを提案した。この分散アーキテクチャを導入することで(Atari, DeepMind Labのゲームを対象に)マルチタスクをも高速に学習し程々の成果を残せたというものだった。本講演では、強化学習に分散アーキテクチャを取り入れて学習を高速化してきた従来研究についても触れながらIMPALAについての紹介をする。

• 参考文献 ：

[1] Espeholt, Lasse, et al. "IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures"

[2] Babaeizadeh, Mohammad, et al. "GA3C: GPU-based A3C for deep reinforcement learning". NIPS Workshop, 2016.

[3] Mnih, Volodymyr, et al. "Asynchronous methods for deep reinforcement learning". Proceedings of the 33nd International Conference on Machine Learning, ICML 2016, New York City, NY, USA, June 19-24, 2016, 2016.

[4] Clemente, Alfredo V., et al. "Efficient parallel methods for deep reinforcement learning". CoRR, abs/1705.04862, 2017.