深層強化学習入門

発売日 : 2021年04月12日

著者／編集 : Vincent Francois-Lavet/Peter Henderson/Riashat Islam/Marc G.Bellemare/Joelle Pineau/松原 崇充

出版社 : 共立出版

発行形態 : 単行本

強化学習の基礎から，深層強化学習の主要アルゴリズム,最先端の話題までを網羅。実験結果の一貫性や再現性といった実践面も詳説。

第1章　はじめに
1.1　なぜ強化学習？
1.2　本書の概要

第2章　機械学習と深層学習
2.1　教師あり学習，および偏りと過適合の概念
2.2　教師なし学習
2.3　深層学習の手法

第3章　強化学習の基礎
3.1　形式的な枠組み
3.2　方策を学習するためのさまざまな要素
3.3　データから方策を学習するためのさまざまな設定

第4章　価値ベース手法による深層強化学習
4.1　Q学習
4.2　当てはめQ学習
4.3　深層Qネットワーク
4.4　2重深層Q学習
4.5　決闘型ネットワーク構造
4.6　分布型深層Qネットワーク
4.7　多段階学習
4.8　DQNの改良版と派生手法の組み合わせ

第5章　方策勾配法による深層強化学習
5.1　確率的方策勾配
5.2　確定的方策勾配
5.3　アクター・クリティック法
5.4　自然方策勾配
5.5　信頼領域最適化
5.6　方策勾配とQ学習の組み合わせ

第6章　モデルベース手法による深層強化学習
6.1　純粋モデルベース法
6.2　モデルフリー手法とモデルベース手法の組み合わせ

第7章　汎化性
7.1　特徴選択
7.2　学習アルゴリズムと関数近似器の選択
7.3　目的関数の修正
7.4　階層的学習
7.5　最良の偏り・過適合のトレードオフの獲得

第8章　オンライン問題に特有の課題
8.1　探索・活用のジレンマ
8.2　経験再生の管理

第9章　深層強化学習のベンチマーク
9.1　ベンチマークの環境
9.2　深層強化学習ベンチマークにおけるベストプラクティス
9.3　深層強化学習のオープンソースソフトウェア

第10章　MDPを超える深層強化学習
10.1　部分観測性と関連する複数環境のMDPの分布
10.2　転移学習
10.3　明示的な報酬関数を持たない学習
10.4　マルチエージェントシステム

第11章　深層強化学習の展望
11.1　深層強化学習の成功
11.2　深層強化学習を実世界問題に適用する際の課題
11.3　深層強化学習と神経科学の関係

第12章　結論
12.1　深層強化学習の将来の発展
12.2　深層強化学習や人工知能の応用と社会への影響

付録：深層強化学習のフレームワーク

参考文献
欧文索引
和文索引

François-Lavet, Vincent

vincent francois-lavet

Henderson, Peter

peter henderson

Islam, Riashat

riashat islam

Bellemare, Marc G

marc g.bellemare

joelle pineau

Pineau, Joelle

松原 崇充

松原, 崇充

井尻 善久

井尻, 善久

濵屋 政志

濵屋, 政志