第０回 強化学習アーキテクチャ勉強会

はじめに

強化学習は環境に柔軟に適応する知能エージェントにおける基本機能と考えられます。近年は深層学習などのアーキテクチャとして、認識技術と組み合わされて自動運転などの実践的な場でつかわれれはじめており、さらにロボットなどにおいても今後は適用されてゆくシーンが増えてゆくでしょう、こうした背景から、実践的な強化学習や，実世界で動かす強化学習（ロボット・自動運転），強化学習を部品として組み合わせる（アーキテクチャ），といったトピックについて重視し情報共有する場として強化学習アーキテクチャ勉強会を開始しました。

本勉強会において積極的に議論に加わっていただき、今後、論文紹介などの形で貢献いただけるかたの参加をお待ちしております。

当勉強会の運営方針などについては、https://rlarch.connpass.com/ を御覧ください。

今回は、今後の本勉強会の方向性を考える上に参考になると考え、第０回目として、慶應義塾大学の妹尾卓磨さんに深層強化学習の動向報告を頂く予定です。興味の有る方は奮ってご参加下さい。

スケジュール

• 18:45 〜18:55 オープニング(山川宏)
• 18:55〜20:55 講演： 深層強化学習の動向(妹尾卓磨) 発表９０分、質疑応答３０分
• 20:55〜21:15 フリーディスカッション

講演概要：

• 発表者： 妹尾卓磨 （慶應義塾大学）
• タイトル：深層強化学習の動向
• アブストラクト：DQNによってブームが到来した深層強化学習の近年の動向を網羅的に概観します。特に「好奇心」の導入によってエージェントに未知の環境の探索を促す手法、脳の記憶機構を参考することにより学習を高速化した手法など 非常に興味深い研究が登場してきています。この発表では、それらの工夫や現在注目されている課題に触れながら、90分間でDQN以降の深層強化学習の進化を見ていきたいと思います。

主要参考文献：

• Alexander Pritzel, Benigno Uria, Sriram Srinivasan, Adria Puigdomenech, Oriol Vinyals, Demis Hassabis, Daan Wierstra, Charles Blundell, Neural Episodic Control Arxiv preprint 1703.01988
• Charles Blundell, Benigno Uria, Alexander Pritzel, Yazhe Li, Avraham Ruderman, Joel Z Leibo, Jack Rae, Daan Wierstra, Demis Hassabis, Model-Free Episodic Control, Arxiv preprint 1703.0198
• Deepak Pathak, Pulkit Agrawal, Alexei A. Efros, Trevor Darrell, Curiosity-driven Exploration by Self-supervised Prediction, Arxiv preprint 1705.05363
• Emilio Parisotto, Jimmy Lei Ba, Ruslan Salakhutdinov, Actor-Mimic: Deep Multitask and Transfer Reinforcement Learning, ICLR, 2016
• Hado van Hasselt, Arthur Guez, David Silver, Deep Reinforcement Learning with Double Q-learning, AAAI, 2016
• Volodymyr Mnih, Adria Puigdomenech Badia, Mehdi Mirza, Alex Graves, Timothy P. Lillicrap, Tim Harley, David Silver, Koray Kavukcuoglu, Asynchronous Methods for Deep Reinforcement Learning, ICML, 2016
• Tejas D. Kulkarni, Karthik R. Narasimhan, Ardavan Saeedi, Joshua B. Tenenbaum, Hierarchical Deep Reinforcement Learning: Integrating Temporal Abstraction and Intrinsic Motivation, NIPS, 2016
• Tom Schaul, John Quan, Ioannis Antonoglou, David Silver, Prioritized Experience Replay, Arxiv preprint 1511.05952
• Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, Martin Riedmiller, Andreas K. Fidjeland, Georg Ostrovski, Stig Petersen, Charles Beattie, Amir Sadik, Ioannis Antonoglou, Helen King, Dharshan Kumaran, Daan Wierstra, Shane Legg & Demis Hassabis, Human-level control through Deep Reinforcement Learning, Nature, 2015
• Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller, Playing Atari with Deep Reinforcement Learning, NIPS, 2013