深層学習 改訂第2版
書籍情報
発売日 : 2022年01月19日
著者/編集 : 岡谷 貴之
出版社 : 講談社
発行形態 : 全集・双書
書籍説明
内容紹介
最高最強のバイブルがパワーアップ!!「トランスフォーマー」「グラフニューラルネットワーク」「生成モデル」など、読み応え十分の全12章。
目次
1章 はじめに
1.1 研究の歴史
1.2 本書の構成
2章 ネットワークの基本構造
2.1 ユニットと活性化関数
2.2 順伝播型ネットワーク
2.3 学習の概要
2.4 問題の定式化:出力層と損失関数の設計
3章 確率的勾配降下法
3.1 確率的勾配降下法
3.2 汎化性能と過剰適合
3.3 正則化
3.4 学習率の選定と制御
3.5 SGDの改良
3.6 層出力の正規化
3.7 重みの初期化
3.8 その他
4章 誤差逆伝播法
4.1 勾配計算の煩わしさ
4.2 誤差逆伝播法
4.3 自動微分
4.4 勾配消失問題
4.5 残差接続
5章 畳み込みニューラルネットワーク
5.1 単純型細胞と複雑型細胞
5.2 畳み込み
5.3 畳み込み層
5.4 プーリング層
5.5 畳み込み層の出力の正規化
5.6 推論のためのCNNの構造
5.7 入出力間の幾何学的関係
5.8 畳み込み層の一般化
5.9 アップサンプリングと畳み込み
5.10 物体カテゴリ認識への適用例
6章 系列データのためのネットワーク
6.1 系列データ
6.2 リカレントニューラルネットワーク
6.3 ゲート機構
6.4 自己回帰モデル
6.5 1次元畳み込みネットワーク
6.6 逆伝播の計算
7章 集合・グラフのためのネットワークと注意機構
7.1 集合データを扱うネットワーク
7.2 注意機構
7.3 トランスフォーマー
7.4 グラフニューラルネットワーク
8章 推論の信頼性
8.1 推論の不確かさ
8.2 不確かさの数理モデル
8.3 不確かさの予測
8.4 分布外入力の検出
8.5 敵対的事例
8.6 品質保証の試み
9章 説明と可視化
9.1 はじめに
9.2 入力による出力の微分
9.3 入力の遮蔽・挿入
9.4 中間層出力の表示
9.5 寄与度の分解
9.6 寄与度の逆伝播
9.7 可視化手法の評価
9.8 影響関数
9.9 学習内容の可視化
10章 いろいろな学習方法
10.1 距離計量学習
10.2 事例集合(マルチインスタンス)学習
10.3 クラスラベルの誤り
10.4 クラス間不均衡
10.5 継続・追加学習
10.6 知識蒸留
10.7 枝刈り
10.8 計算の量子化
10.9 ネットワーク構造探索
11章 データが少ない場合の学習
11.1 はじめに
11.2 データ拡張
11.3 転移学習
11.4 半教師あり学習
11.5 自己教師学習
11.6 マルチタスク学習
11.7 ドメイン適応・汎化
11.8 少数事例学習
11.9 能動学習
12章 生成モデル
12.1 データの生成モデル
12.2 自己符号化器
12.3 変分自己符号化器
12.4 敵対的生成ネットワーク
12.5 正規化フロー
12.6 ボルツマンマシン
1.1 研究の歴史
1.2 本書の構成
2章 ネットワークの基本構造
2.1 ユニットと活性化関数
2.2 順伝播型ネットワーク
2.3 学習の概要
2.4 問題の定式化:出力層と損失関数の設計
3章 確率的勾配降下法
3.1 確率的勾配降下法
3.2 汎化性能と過剰適合
3.3 正則化
3.4 学習率の選定と制御
3.5 SGDの改良
3.6 層出力の正規化
3.7 重みの初期化
3.8 その他
4章 誤差逆伝播法
4.1 勾配計算の煩わしさ
4.2 誤差逆伝播法
4.3 自動微分
4.4 勾配消失問題
4.5 残差接続
5章 畳み込みニューラルネットワーク
5.1 単純型細胞と複雑型細胞
5.2 畳み込み
5.3 畳み込み層
5.4 プーリング層
5.5 畳み込み層の出力の正規化
5.6 推論のためのCNNの構造
5.7 入出力間の幾何学的関係
5.8 畳み込み層の一般化
5.9 アップサンプリングと畳み込み
5.10 物体カテゴリ認識への適用例
6章 系列データのためのネットワーク
6.1 系列データ
6.2 リカレントニューラルネットワーク
6.3 ゲート機構
6.4 自己回帰モデル
6.5 1次元畳み込みネットワーク
6.6 逆伝播の計算
7章 集合・グラフのためのネットワークと注意機構
7.1 集合データを扱うネットワーク
7.2 注意機構
7.3 トランスフォーマー
7.4 グラフニューラルネットワーク
8章 推論の信頼性
8.1 推論の不確かさ
8.2 不確かさの数理モデル
8.3 不確かさの予測
8.4 分布外入力の検出
8.5 敵対的事例
8.6 品質保証の試み
9章 説明と可視化
9.1 はじめに
9.2 入力による出力の微分
9.3 入力の遮蔽・挿入
9.4 中間層出力の表示
9.5 寄与度の分解
9.6 寄与度の逆伝播
9.7 可視化手法の評価
9.8 影響関数
9.9 学習内容の可視化
10章 いろいろな学習方法
10.1 距離計量学習
10.2 事例集合(マルチインスタンス)学習
10.3 クラスラベルの誤り
10.4 クラス間不均衡
10.5 継続・追加学習
10.6 知識蒸留
10.7 枝刈り
10.8 計算の量子化
10.9 ネットワーク構造探索
11章 データが少ない場合の学習
11.1 はじめに
11.2 データ拡張
11.3 転移学習
11.4 半教師あり学習
11.5 自己教師学習
11.6 マルチタスク学習
11.7 ドメイン適応・汎化
11.8 少数事例学習
11.9 能動学習
12章 生成モデル
12.1 データの生成モデル
12.2 自己符号化器
12.3 変分自己符号化器
12.4 敵対的生成ネットワーク
12.5 正規化フロー
12.6 ボルツマンマシン
著者情報
岡谷 貴之
1972年生まれ
現 在 東北大学大学院情報科学研究科 教授
理化学研究所革新知能統合研究センター チームリーダー
著 書 (共著)『深層学習 Deep Learning』近代科学社(2015)
岡谷, 貴之
杉山, 将