強化学習: 理論から実践へ #11

Math & Codingとは

数学とプログラミングのスキルを向上させたい方が集い学び合う場です。

難しい概念や技術も、シンプルな例で確認したりメンバーが対話することで本質的な理解を得られると考えます。

本グループは、そのようなことができるようなコミュニティとなることを目指します。

◆groupページ

https://www.facebook.com/groups/284004485439214/

◆過去のイベント スクラムサインのコミュニティーページ

https://scrumsign.com/community/

強化学習とは

強化学習(Reinforcement Learning, RL)とは、逐次的意思決定を取り扱うための、数理的な枠組みである。

意思決定をする主体である「エージェント」と、意思決定の場を与える「環境」との相互作用によって逐次的意思決定の過程をモデル化した上で、環境からエージェントに与えられる報酬を最大化するように意思決定ルール（方策）を学習させていくことで、最適な意思決定ルールを獲得でき、それにより状況に応じてどのように行動すべきかの指針を得ることができる。（強化学習から信頼できる意思決定へ　まえがきより）

本イベントで使用する教科書

強化学習から信頼できる意思決定へ (サイエンス社) https://amzn.asia/d/6ucjmXE

強化学習を勉強したことがない人は、以下の書籍をまず読むことをおすすめします
Reinforcement Learning: An Introduction https://web.stanford.edu/class/psych209/Readings/SuttonBartoIPRLBook2ndEd.pdf

この教科書を学ぶ意義

この教科書は、強化学習を実際にビジネスで応用することを目的として書かれた教科書である。

強化学習をビジネスで使用する際、試行錯誤の段階で、大きな損失を出すことや、重大なミスを犯してしまうリスクが、懸念点とされてきた。

この教科書では、それらの問題に対してうまく強化学習を適用する方法について書かれている。 具体的には以下の三つである。

２章　環境をシミュレーター内に構築するオフライン学習

３章　リスクを考慮し、安定性に重点を置いた、リスク考慮型強化学習

４章　最適化問題の制約条件として、エージェントの行動に制約をつける安全性制約考慮型強化学習

これらの課題を解決し、強化学習をビジネスなどの現実問題に適用できるようにすることが、本イベントの目的、この教科書を学ぶ意義である。

進め方

基本的に強化学習から信頼できる意思決定へ(サイエンス社 梶野洸 他)を読み進めながら、事前に進行者が用意した資料を授業ノートがわりに進めていきます。

教科書の記述をよみ、定理やその証明の数式を丁寧に追って、ホワイトボードに書いて確認したりします。 数式を言葉で言い換えたり、図を書いたりして、その数式が考えられた気持ちを理解していくことを大切にしています。

事前に進行者が用意した資料に、書き込みながら進めていきます。

主催者は議論の整理、進行をし、主催者がわからないところ、疑問を抱いているところは参加者の皆さんに質問したりもします。

集まったメンバー同士で重要となる定義、定理、命題について議論しています。

聴いているいるだけの参加の仕方もOKです。

準備

Zoomで勉強会を行います。時間までにURLをお送りいたします。

対象者

実践的な強化学習を学び、実際に業務に応用する基盤を学びたい方。

教科書をある程度読んできていただくことをおすすめします。

進行

尾崎 勇介(株式会社スクラムサイン インターン)