深層強化学習の研究トレンド（DQN〜Rainbowまで）の解説と実装例の解説を行うセミナー

内容概要

Deep Q-Network以降の深層強化学習について解説できればと思い企画してみました。
Deep Q-Networkから2017年の10月に発表された『Rainbow: Combining Improvements 
in Deep Reinforcement Learning』までの研究の流れについて基礎的な強化学習の知識や
実装例（TensorFlow or PyTorchになると思います）を元に解説していければと思います。

↓Rainbow論文
https://arxiv.org/abs/1710.02298

※
期待値が上がり過ぎるとやりづらいので、過度な期待はし過ぎないようにお願いします。
出典はオリジナル論文か著者実装を基本メインで紹介するため情報ソースは問題ないと思いますが、
全てのご質問にはお答えできないかもしれないことは予めご留意ください。

開催日程

7/6（土）
受付： 12:50〜13:00
講義： 13:00〜15:00

※
途中10分ほどの休憩を数回設ける予定です。

アジェンダ

1. 事前知識の整理（25分）
　　系列モデリング復習＆MDP(Markov Decision Process)
　　Deep Q-Network

2. Rainbowについて（60分）
　　Double DQN
　　Prioritised Experience Replay
　　Dueling Network Architecture
　　Multi-step Returns
　　Distributional RL
　　Noisy Nets

　　↓参考
　　https://lib-arts.hatenablog.com/entry/rl_trend6

3. 簡易ハンズオンとコードの解説（30分）
　　簡単な動作例を元にコードの解説を行います。

※アジェンダの詳細については変更の可能性があります。（全体の流れが変わることはないです）

会場

水道橋駅、神保町駅、九段下駅周辺
千代田区西神田2-7-14 YS西神田ビル2F

対象者

・対象レベルとしては，CNNの基礎知識（AlexNet、VGGNet、ResNetなど）について知っており、
MNISTなどの画像分類の経験がある方を想定します。
↓下記の理解は前提とします。
https://lib-arts.hatenablog.com/entry/math_nn4
https://lib-arts.hatenablog.com/entry/math_nn5
https://lib-arts.hatenablog.com/entry/math_nn6
https://lib-arts.hatenablog.com/entry/paper1_AlexNet
https://lib-arts.hatenablog.com/entry/paper2_VGGNet
https://lib-arts.hatenablog.com/entry/paper3_ResNet

・また強化学習の基本についてはわかっている方を想定します。（Deep Q-Networkがシンプルかつ
それなりに良いモデルなので、Deep Q-Networkまでなんとなくわかるを想定して話を進めていきます）
↓自信のない方は下記をざっと読み流して簡単なイメージを掴んできていただけたら当日スムーズだと思います。
https://lib-arts.hatenablog.com/entry/followup_reinforce1
https://lib-arts.hatenablog.com/entry/followup_reinforce2
https://lib-arts.hatenablog.com/entry/followup_reinforce3
https://lib-arts.hatenablog.com/entry/followup_reinforce4
https://lib-arts.hatenablog.com/entry/followup_reinforce5

講師プロフィール

東大工学部卒。
データ分析/AI開発の仕事の経験は7年ほどで、理論/開発/ビジネスのどれも経験があり強い。
また、多くの業界のプロジェクトに関わったためドメイン知識も豊富。
初心者向けの指導実績も多く、1,000名近い。

当日のお持物

・筆記用具
・PC     Python(3.6推奨）、TensorFlow&PyTorchが使える状態でお願いします。
※ 題材によって変更の可能性があります

費用

4,000円 (2時間)

※
・領収書発行の際は事務手数料として追加1,000円のお支払いをよろしくお願いいたします

定員

6名（人数に合わせて調整します、別媒体でも募集していますので申し込み人数は当日参加者数を反映しません）

ご参加にあたってのお願い

無断欠席や前日以降のキャンセルに関しては当日人数読めなくなり非常に迷惑なので
基本的に行わないようにお願いします。（直前参加は定員的に問題なければ歓迎です！）
体調不良、職務都合、ご家庭の事情などどうしてものケースは別途ご連絡いただくか、
イベントへのお問い合わせよりご連絡いただけますと嬉しいです。
上記がひどいアカウントに関してはブラックリスト処理を行い以後の参加をお断りさせて
いただきますので、その点だけ予めご了承ください。
（7割以上来れる前提でのお申し込みと前日以降のキャンセルはメッセージでのご連絡を
いただくということだけ気をつけていただければ大丈夫だと思います）

モチベーションの高い参加者の方を重視する運営としていきたいと考えています。
ご協力のほど、よろしくお願いいたします。