第35回 強化学習アーキテクチャ勉強会

はじめに

強化学習は環境に柔軟に適応する知能エージェントにおける基本機能と考えられます。近年は深層学習などのアーキテクチャとして、認識技術と組み合わされて自動運転などの実践的な場でつかわれれはじめており、さらにロボットなどにおいても今後は適用されてゆくシーンが増えてゆくでしょう、こうした背景から、実践的な強化学習や，実世界で動かす強化学習（ロボット・自動運転），強化学習を部品として組み合わせる（アーキテクチャ），といったトピックについて重視し情報共有する場として強化学習アーキテクチャ勉強会を開始しました。

本勉強会において積極的に議論に加わっていただき、今後、論文紹介などの形で貢献いただけるかたの参加をお待ちしております。

当勉強会の運営方針などについては、https://rlarch.connpass.com/ を御覧ください。

• Google Group: https://goo.gl/xznKlY （注：KlYのIは「L」の小文字です）
• Slack: https://join.slack.com/t/rlarch/shared_invite/MjM2Mzc3MDE1MzYyLTE1MDQ2MjIzNDItNjFmNmU2NWJlYg
• Twitter: #rlarch 勉強会のハッシュタグを作りました．コメントや質問等にご活用ください．

スケジュール

• 18:50〜18:55 オープニング
• 18:55〜19:45 実機適用に向けた深層強化学習ライブラリmachinaの紹介

※ 19:00にビル入り口が施錠されるため、19時以前にお越しください（万が一19時を過ぎてしまった場合はインターホンにてご連絡ください）

講演概要：

発表者：初谷怜慈（株式会社DeepX）

• タイトル：実機適用に向けた深層強化学習ライブラリmachinaの紹介

• アブストラクト
  2013年DeepMindより発表されたDQN以後、深層強化学習はアカデミアを中心に目覚ましい発展を遂げてきた。その将来有望な成果とともに、実世界に深層強化学習を応用することも考えられ始めてきている。実世界に深層強化学習を応用する場合、環境、アルゴリズム、方策の各構成要素に対して、多くの試行錯誤を繰り返す必要があると考えられる。今回紹介する実機適用に向けた深層強化学習ライブラリmachina[1]では、強化学習における構成要素の独立性を保つために、Composabilityを最重要視しながら、各種アルゴリズム、機能等が実装されている。本発表では、machinaの思想及びその利点を説明し、実際にmachinaを動かしながらコードを説明する。

• 参考文献
  [1] https://machina-rl.org

※ 注意事項： 本発表ではgithubを使用して、皆様の手元でもmachinaを動かしたりするようなことを考えております。 そこで、

1. githubのアカウントを持っており、使い方がわかる方

2. 強化学習の実装を行ったことがある方

を対象に資料を作成しております。 そのような経験がある方向けの資料ですので、会場にてミスマッチが生じないよう、応募者は上記のどちらかを満たす方でお願いいたします。