第28回 強化学習アーキテクチャ勉強会

はじめに

強化学習は環境に柔軟に適応する知能エージェントにおける基本機能と考えられます。近年は深層学習などのアーキテクチャとして、認識技術と組み合わされて自動運転などの実践的な場でつかわれれはじめており、さらにロボットなどにおいても今後は適用されてゆくシーンが増えてゆくでしょう、こうした背景から、実践的な強化学習や，実世界で動かす強化学習（ロボット・自動運転），強化学習を部品として組み合わせる（アーキテクチャ），といったトピックについて重視し情報共有する場として強化学習アーキテクチャ勉強会を開始しました。

本勉強会において積極的に議論に加わっていただき、今後、論文紹介などの形で貢献いただけるかたの参加をお待ちしております。

当勉強会の運営方針などについては、https://rlarch.connpass.com/ を御覧ください。

• Google Group: https://goo.gl/xznKlY （注：KlYのIは「L」の小文字です）
• Slack: https://join.slack.com/t/rlarch/shared_invite/MjM2Mzc3MDE1MzYyLTE1MDQ2MjIzNDItNjFmNmU2NWJlYg
• Twitter: #rlarch 勉強会のハッシュタグを作りました．コメントや質問等にご活用ください．

スケジュール

• 18:50 〜18:55 オープニング
• 18:55〜19:45 知識推論＋neural reinforcement learning

※ 19:00にビル入り口が施錠されるため、19時以前にお越しください（万が一19時を過ぎてしまった場合はインターホンにてご連絡ください）

講演概要：

発表者：礼王懐成

• タイトル：知識推論＋neural reinforcement learning

• アブストラクト：
  知識推論と強化学習を融合した最新の研究をいくつか紹介する。 知識推論のタスクとして、課題解決に必要な情報が欠落したナレッジグラフから、答えを導き出す質問応答の課題（ナレッジグラフ補完）を取り上げる。 近年、そのナレッジグラフ補完課題に対して、ナレッジグラフを連続空間に埋めて（Embedding）推論をする研究が盛んに行われている。 そのタスクを解決する過程である知識グラフのパス選択の結果として、ルールが生成されることで、ニューラルネットモデルに対して説明可能なAIの実装が期待されている。 そのようなグラフEmbeddingを用いたナレッジグラフ補完課題に、強化学習を適用したモデルであるDeepPathが、2017年に発表されたのを皮切りに、今年に入ってMINERVA、DIVA,M-walkなど続々と新しいモデルが提案されている。 今回の勉強会では、簡潔にナレッジグラフ補完課題を説明し、ナレッジグラフ補完課題をAlphaGoやAlphaGoZeroを参考にした強化学習モデルなどと融合した最新の研究を中心にいくつか紹介する。 異なる強化学習モデルを比較しながら、将来的に対話システムなどより汎用的なタスクに応用できないかを議論したい。

• 参考文献：
  [1] Yelong Shen · Jianshu Chen · Po-Sen Huang · Yuqing Guo · Jianfeng Gao. M-Walk: Learning to Walk in Graph with Monte Carlo Tree Search.NIPS 2018
  [2] Xi Victoria Lin,Richard Socher, Caiming Xiong. Multi-Hop Knowledge Graph Reasoning with Reward Shaping. EMNLP 2018.
  [3] Wenhan Xiong, Thien Hoang, and William Yang Wang. DeepPath: A reinforcement learning method for knowledge graph reasoning. In Proc. EMNLP, pages 575–584, 2017.
  [4] Rajarshi Das, Shehzaad Z Dhuliawala, Manzii Zaheer, Luke Vilnis, Ishan Durugkar, Akshay Krishnamurthy, Alex Smola, Andrew McCallum. Go for a Walk and Arrive at the Answer: Reasoning Over Paths in Knowledge Bases using Reinforcement Learning. ICRL 2018.
  [5] H Cai, VW Zheng, K Chang, A comprehensive survey of graph embedding: problems, techniques and applications.IEEE Transactions on Knowledge and Data Engineering.2018