第37回 強化学習アーキテクチャ勉強会

はじめに

強化学習は環境に柔軟に適応する知能エージェントにおける基本機能と考えられます。近年は深層学習などのアーキテクチャとして、認識技術と組み合わされて自動運転などの実践的な場でつかわれれはじめており、さらにロボットなどにおいても今後は適用されてゆくシーンが増えてゆくでしょう、こうした背景から、実践的な強化学習や，実世界で動かす強化学習（ロボット・自動運転），強化学習を部品として組み合わせる（アーキテクチャ），といったトピックについて重視し情報共有する場として強化学習アーキテクチャ勉強会を開始しました。

本勉強会において積極的に議論に加わっていただき、今後、論文紹介などの形で貢献いただけるかたの参加をお待ちしております。

当勉強会の運営方針などについては、https://rlarch.connpass.com/ を御覧ください。

• Google Group: https://goo.gl/xznKlY （注：KlYのIは「L」の小文字です）
• Slack: https://join.slack.com/t/rlarch/shared_invite/MjM2Mzc3MDE1MzYyLTE1MDQ2MjIzNDItNjFmNmU2NWJlYg
• Twitter: #rlarch 勉強会のハッシュタグを作りました．コメントや質問等にご活用ください．

会場の注意点：

• DEEPCORE様のご厚意により，2019年4月から会場がKERNEL HONGO（ユニゾ本郷四丁目ビル 3F）となります．
• 入室の際，参加者の把握のため，受付にて「お名前・ご所属・ご連絡先」を記入していただくことになりました（名刺をご提出いただく形でも構いません）．
• 19：00頃になると正面口（本郷通り沿い）にロックがかかりますので，なるべく遅刻しないようにお越しください．もし19:00をすぎる場合には，裏側の階段から3階に上がって頂く形になります．

ご協力の程，よろしくお願いいたします．

スケジュール

• 18:50〜18:55 オープニング
• 18:55〜19:45 マルチエージェント逆強化学習：相互作用する行動主体の報酬推定

講演概要：

発表者：浪越圭一（千葉大学）

• タイトル：マルチエージェント逆強化学習：相互作用する行動主体の報酬推定

• アブストラクト
  逆強化学習は，与えられた状態・行動の軌跡から，その軌跡を生成した報酬を推定する枠組みであり，強化学習における報酬設計や，軌跡の生成者がもつ目的推定に用いられる．しかしその多くは，シングルエージェント環境を対象とする．そのため，交通，群衆，分散ロボット，ゲームなど，複数エージェントの行動が報酬や状態遷移に影響するマルチエージェント環境への適用は容易ではない．その原因として，マルチエージェント系特有の協調・競合といったエージェント間の関係や，ゲーム理論で用いられる均衡解の考慮，もしくは緩和が必要となる点が挙げられる．
  本発表では，上記の問題に取り組むマルチエージェント逆強化学習について，文献を紹介する．

• 参考文献
  [1] S. Natarajan, et al., "Multi-Agent Inverse Reinforcement Learning." in 2010 Ninth International Conference on Machine Learning and Applications, pp. 395–400 (2010)
  [2] T. S. Reddy, et al., "Inverse reinforcement learning for decentralized non-cooperative multiagent systems." in 2012 IEEE International Conference on Systems, pp. 1930–1935 (2012)
  [3] A. ŠoŠić, et al., "Inverse Reinforcement Learning in Swarm Systems." in Proceedings of the 16th Conference on Autonomous Agents and MultiAgent Systems, pp. 1413–1421 (2017)
  [4] K. Bogert and P. Doshi, "Multi-robot inverse reinforcement learning under occlusion with estimation of state transitions, Artificial Intelligence." vol. 263, pp. 46–73 (2018)
  [5] X. Lin, et al., "Multiagent Inverse Reinforcement Learning for Two-Person Zero-Sum Games." IEEE Transactions on Games, vol. 10, no. 1, pp. 56–68 (2018)
  [6] X. Wang and D. Klabjan, "Competitive Multi-agent Inverse Reinforcement Learning with Sub-optimal Demonstrations." in Proceedings of the 35th International Conference on Machine Learning, vol. 80, pp. 5143–5151 (2018)
  [7] Song, Jiaming, et al. "Multi-agent generative adversarial imitation learning." Advances in Neural Information Processing Systems, pp. 7461-7472 (2018)