第1回 強化学習アーキテクチャ勉強会

はじめに

強化学習は環境に柔軟に適応する知能エージェントにおける基本機能と考えられます。近年は深層学習などのアーキテクチャとして、認識技術と組み合わされて自動運転などの実践的な場でつかわれれはじめており、さらにロボットなどにおいても今後は適用されてゆくシーンが増えてゆくでしょう、こうした背景から、実践的な強化学習や，実世界で動かす強化学習（ロボット・自動運転），強化学習を部品として組み合わせる（アーキテクチャ），といったトピックについて重視し情報共有する場として強化学習アーキテクチャ勉強会を開始しました。

本勉強会において積極的に議論に加わっていただき、今後、論文紹介などの形で貢献いただけるかたの参加をお待ちしております。

当勉強会の運営方針などについては、https://rlarch.connpass.com/ を御覧ください。

今回は、DeNAの甲野佑さんに、階層型強化学習において最近提案されているFeUdal Networks (FuNs)について解説頂く予定です。興味の有る方は奮ってご参加下さい。

スケジュール

• 18:45 〜18:55 オープニング
• 18:55〜19:55 講演： FeUdal Networks for Hierarchical Reinforcement Learning (甲野 佑) 発表45分、質疑応答15分
• 19:55〜20:30 フリーディスカッション

講演概要：

• 発表者： 甲野 佑 (DeNA)
• タイトル：FeUdal Networks for Hierarchical Reinforcement Learning
• アブストラクト：深層学習技術の導入により強化学習近分野が目覚ましい発展を遂げている．しかし環境を表現する完全な情報を得られるわけでは無い場合(e.g. Montezuma's Revenge)や，マルチエージェント性等から課題が複雑すぎる場合に対する対処については前述の発展と比較して進んでいるとは言えない．これらの問題の対処には中期的なサブ目標とそれを達成するサブ方策(Option 等)，さらにサブ方策を学習するための内部報酬によって課題分解して学習する階層型強化学習のアプローチが用いられる．しかしサブ目標の自律的な分離・生成の学習は困難であり，多くは明示的に与える形式が取られる．それに対し DeepMind は feudal reinforcement learning (FRL, Dayan & Hinton,1993) という非深層強化学習アーキテクチャを微分可能なネットワーク，FuN として構築し，end-to-end な階層型強化学習の手法を提案している．本発表ではその紹介を行う．

主要参考文献：

• Vezhnevets, A. S., Osindero, S., Schaul, T., Heess, N., Jaderberg, M., Silver, D., & Kavukcuoglu, K. (2017). FeUdal Networks for Hierarchical Reinforcement Learning. ArXiv. Retrieved from http://arxiv.org/abs/1703.01161