第13回 強化学習アーキテクチャ勉強会

はじめに

強化学習は環境に柔軟に適応する知能エージェントにおける基本機能と考えられます。近年は深層学習などのアーキテクチャとして、認識技術と組み合わされて自動運転などの実践的な場でつかわれれはじめており、さらにロボットなどにおいても今後は適用されてゆくシーンが増えてゆくでしょう、こうした背景から、実践的な強化学習や，実世界で動かす強化学習（ロボット・自動運転），強化学習を部品として組み合わせる（アーキテクチャ），といったトピックについて重視し情報共有する場として強化学習アーキテクチャ勉強会を開始しました。

本勉強会において積極的に議論に加わっていただき、今後、論文紹介などの形で貢献いただけるかたの参加をお待ちしております。

当勉強会の運営方針などについては、https://rlarch.connpass.com/ を御覧ください。

• Google Group : https://goo.gl/xznKlY （注：KlYのIは「L」の小文字です）
• Slack : https://join.slack.com/t/rlarch/shared_invite/MjM2Mzc3MDE1MzYyLTE1MDQ2MjIzNDItNjFmNmU2NWJlYg

スケジュール

• 18:50 〜18:55 オープニング
• 18:55〜19:40 講演：Diversity is all You Need: Learning Skills without a Reward Function 発表・質疑応答45分

※ 19:00にビル入り口が施錠されるため、19時以前に起こしください（万が一19時を過ぎてしまった場合はインターホンにてご連絡ください）

講演概要：

発表者：森山朋美

• タイトル： Diversity is all You Need: Learning Skills without a Reward Function

• アブストラクト： 知的生物は環境を探索し、教示なしに有用なスキルを身につけることができる。 本論文の提案手法である「DIAYN:Diversity is All You Need(多様性こそすべて)」では、報酬関数なしにスキルを獲得できる。 この手法では、情報理論ではお馴染みの目的関数「エントロピー最大化方策」を用いてスキルを学習する。 様々なロボット制御タスクにおいて、エントロピー最大化という単純な目的関数のもと、歩行や跳躍といった多様なスキルを教示なしに獲得することができた。 数ある強化学習ベンチマークにおいても、なんら報酬を与えることなく、タスクをクリアできた。タスクごとに、タスクに見合ったスキルが獲得された。 強化学習の長年の課題である「探索とデータ効率化」問題を解決するための事前学習手法として、この「教示なし学習によるスキル獲得」は有効である。

• 参考文献
  [1] Eysenbach, Benjamin, et al. "Diversity is All You Need: Learning Skills without a Reward Function." arXiv preprint arXiv:1802.06070 (2018).