【入門者・初心者向け】強化学習超入門（3回コース）

アルゴリズム機械学習初心者

イベント内容

内容概要

機械学習の分野は 教師あり学習, 教師なし学習, 強化学習の 3 つに大別できます。
教師あり学習, 教師なし学習は比較的イメージがつきやすいと思われますが、
強化学習は敷居が高いと感じている方が多いと思います。

そこで、本セミナーでは、強化学習を全 3 回に渡って、丁寧に解説致します。
今回は、基礎はもちろん、”Deep Q-Network” (以降 DQN) にも焦点を当てます。
DQN は今日の強化学習の中心にあるアルゴリズムであるため、
これを理解しておくと、他のアルゴリズムを勉強する際に非常に役立つためです。

本セミナーは、以下のリンク先の書籍の内容に沿って進行します。
https://note.mu/lib_arts/n/n8cf4cbe2dce4
(基本的な重要事項のみに焦点を当てるので、深層強化学習のトレンドについては触れません。)

また、上記URLの書籍を購入頂いた方は、セミナーの参加費用を割引させて頂きます。
手元に資料がある方が理解し易いので、購入の上での参加を推奨します。

また、第 2 回目は PyTorch の解説回であるため、PyTorch については問題ないという方は、
第 2 回の参加を無しにし、参加費を 3000 円割り引かせて頂きます。
こちらのオプションを希望される方は、第 1 回の開催日にお申し付け下さい。

開催日程

12/ 1（日）第 1 回
受付： 18:20~18:30
解説： 18:30~20:30

12/ 7 (土) 第 2 回 
受付 :  15:50~16:00
解説 :  16:00~18:00

12/14 (土) 第 3 回
受付 :  15:50~16:00
解説 :  16:00~18:00 

※
途中5分ほどの休憩を設ける予定です。

アジェンダ

第 1 回 (強化学習の理論と DQN の基本)

・問題設定から理解する強化学習
　　問題設定 (逐次的意思決定問題)
　　系列モデリング
　　逐次的意思決定問題の問題設定

・Q-learning
　　Model-Free Method
　　Temporal Difference Method
　　Monte Carlo Method
　　SARSA
　　Q-learning


第 2 回 (PyTorch)

・PyTorch の基本
　　PyTorchの概要
　　簡易実装
　　PyTorchのチュートリアルの全体像
　　Autograd

・Neural Network の実装
　　Define the Network
　　Loss Function
　　Backprop
　　Update the weights

・実装を読み解くにあたって

第 3 回

・第 1 回の復習

・Deep Q-Network の原理
　　Q-learning とDeep Q-Network
　　問題設定 (Atari)
　　transition の保存
　　TD Error と誤差関数
　　Network Architecture

・Deep Q-Network における工夫
　　Experience replay
　　Target Network

・Deep Q-Network のサンプルコード
　　Introductoin
　　Replay Memory
　　DQN Algorithm
　　Training

会場

水道橋駅、神保町駅、九段下駅周辺
千代田区西神田2-7-14 YS西神田ビル2F

対象者

・強化学習に興味がある方
・強化学習のプログラムを動かしてみたい方

※
超初心者〜中級者を前提とした進行としますので、極力難しい言葉や数式は使わないで
進行するようにします。

当日までの準備

第 2, 3回では、Python 3.6 環境でPyTorchが動くようにしてきていただけたらと思います。
(Google Colaboratory でも構いません。)

費用

通常参加者枠 　　　12000円 (2h x3回)
書籍購入割引適用 　10000円 (2h x3回)
第 2 回参加なし　　上記該当料金より 3000円割引 (希望される方は、第 1 回でお申し付け下さい。)

※
・領収書発行の際は事務手数料として追加1,000円のお支払いをよろしくお願いいたします

定員

6名（人数に合わせて調整します、別媒体でも募集していますので申し込み人数は当日参加者数を反映しません）

ご参加にあたってのお願い

無断欠席や前日以降のキャンセルに関しては当日人数読めなくなり非常に迷惑なので
基本的に行わないようにお願いします。（直前参加は定員的に問題なければ歓迎です！）
体調不良、職務都合、ご家庭の事情などどうしてものケースは別途ご連絡いただくか、
イベントへのお問い合わせよりご連絡いただけますと嬉しいです。
上記がひどいアカウントに関してはブラックリスト処理を行い以後の参加をお断りさせて
いただきますので、その点だけ予めご了承ください。
（7割以上来れる前提でのお申し込みと前日以降のキャンセルはメッセージでのご連絡を
いただくということだけ気をつけていただければ大丈夫だと思います）

モチベーションの高い参加者の方を重視する運営としていきたいと考えています。
ご協力のほど、よろしくお願いいたします。