第20回 強化学習アーキテクチャ勉強会

はじめに

強化学習は環境に柔軟に適応する知能エージェントにおける基本機能と考えられます。近年は深層学習などのアーキテクチャとして、認識技術と組み合わされて自動運転などの実践的な場でつかわれれはじめており、さらにロボットなどにおいても今後は適用されてゆくシーンが増えてゆくでしょう、こうした背景から、実践的な強化学習や，実世界で動かす強化学習（ロボット・自動運転），強化学習を部品として組み合わせる（アーキテクチャ），といったトピックについて重視し情報共有する場として強化学習アーキテクチャ勉強会を開始しました。

本勉強会において積極的に議論に加わっていただき、今後、論文紹介などの形で貢献いただけるかたの参加をお待ちしております。

当勉強会の運営方針などについては、https://rlarch.connpass.com/ を御覧ください。

• Google Group : https://goo.gl/xznKlY （注：KlYのIは「L」の小文字です）
• Slack : https://join.slack.com/t/rlarch/shared_invite/MjM2Mzc3MDE1MzYyLTE1MDQ2MjIzNDItNjFmNmU2NWJlYg

スケジュール

• 18:50 〜18:55 オープニング
• 18:55〜19:45 論文紹介 “Playing hard exploration games by watching YouTube” 発表35分、質疑応答15分

※ 19:00にビル入り口が施錠されるため、19時以前にお越しください（万が一19時を過ぎてしまった場合はインターホンにてご連絡ください）

講演概要：

発表者1：奥村 純

• タイトル： 論文紹介 “Playing hard exploration games by watching YouTube”

• アブストラクト： 深層強化学習においてゲームを解くタスクは、DQN以降の進展に見られるように様々なタイトルで成功を収めてきた。一方で、”Montezuma’s Revenge”や”Pitfall!”では、スパースな報酬や観測の不完全性から学習が難しいタイトルとされ、内的動機づけによる探索の効率化や階層性の導入など様々なアプローチが検討されている。本講演では、最近DeepMindより提案された模倣学習のスキームを紹介する。この手法では、YouTubeに上がっているゲームのプレイ画面をマルチモーダルに学習することで、これまで攻略が難しかったタイトルにおいて目覚ましい成績の向上が報告されている。関連話題にも言及しつつ、論文の要諦を紹介する。

• 参考文献：
  [1]Aytar, Yusuf, et al. "Playing hard exploration games by watching YouTube." arXiv preprint arXiv:1805.11592 (2018). https://arxiv.org/abs/1805.11592