第21回 強化学習アーキテクチャ勉強会

はじめに

強化学習は環境に柔軟に適応する知能エージェントにおける基本機能と考えられます。近年は深層学習などのアーキテクチャとして、認識技術と組み合わされて自動運転などの実践的な場でつかわれれはじめており、さらにロボットなどにおいても今後は適用されてゆくシーンが増えてゆくでしょう、こうした背景から、実践的な強化学習や，実世界で動かす強化学習（ロボット・自動運転），強化学習を部品として組み合わせる（アーキテクチャ），といったトピックについて重視し情報共有する場として強化学習アーキテクチャ勉強会を開始しました。

本勉強会において積極的に議論に加わっていただき、今後、論文紹介などの形で貢献いただけるかたの参加をお待ちしております。

当勉強会の運営方針などについては、https://rlarch.connpass.com/ を御覧ください。

• Google Group : https://goo.gl/xznKlY （注：KlYのIは「L」の小文字です）
• Slack : https://join.slack.com/t/rlarch/shared_invite/MjM2Mzc3MDE1MzYyLTE1MDQ2MjIzNDItNjFmNmU2NWJlYg

スケジュール

• 18:50 〜18:55 オープニング
• 18:55〜19:45 論文紹介：Reinforcement Learning and Control as Probabilistic Inference: Tutorial and Review (発表35分、質疑応答15分)

※ 19:00にビル入り口が施錠されるため、19時以前にお越しください（万が一19時を過ぎてしまった場合はインターホンにてご連絡ください）

講演概要：

発表者：甲野 祐（DeNA）

• タイトル： 論文紹介：Reinforcement Learning and Control as Probabilistic Inference: Tutorial and Review

• アブストラクト： 強化学習は状態に対する最適な方策分布(確率)を推論する問題である．しかし強化学習を確率の推論問題だと捉える場合，その方策の良さを定義する収益概念の扱い方が問題になる． 当該論文ではまず報酬的に最適であるかの最適性変数を与えることで強化学習がその上で駆動する確率的グラフィカルモデル(PGM)を構築している．そして Maximum entropy 強化学習と呼ばれる強化学習の最適制御問題の一般化が確率的推論モデルとどのように等価であるかを PGM を用いて解説している． 強化学習の最大の問題の一つとして「現実の課題環境は基本的に POMDP 」ということが言える．観測情報のみからは真の環境の状態の推定という MDP での強化学習とは全く異なる問題を抱えている(方策勾配法であると本質的には解決できない問題)．不完全観測から真の状態の推定は本来 HMM などの確率推論モデルで行われるべきものだが，慣例的，古典的には N 階マルコフ(入力する観測の履歴化)，現在では LSTM などの RNN 系技術の導入で対処している．しかし本定式化により収益概念を内包した確率モデルとして強化学習を扱うことにより，部分観測性を確率推論のテクニックを用いてより直接的な方法で POMDP を扱える可能性を示している．

• 参考文献：
  [1]Levine, Sergey. "Reinforcement Learning and Control as Probabilistic Inference: Tutorial and Review", arXiv preprint arXiv:1805.00909 (2018). https://arxiv.org/abs/1805.00909