機械学習
書籍情報
発売日 : 2022年12月21日
著者／編集 : Sergios Theodoridis/岩野 和生/中島 秀之/石川 達也/上田 修功/浦本 直彦
出版社 : 共立出版
発行形態 : 単行本
書籍説明
内容紹介
機械学習に統一的な文脈でアプローチすることにより、アカデミックな観点だけでなく、応用の観点からも価値のある大著。
目次
第1章 はじめに
1.1 歴史的な背景
1.2 人工知能と機械学習
1.3 データに隠されたものを学習するアルゴリズム
1.4 機械学習の代表的な応用例
1.5 機械学習：主要な方向性
1.6 教師なし学習と半教師あり学習
1.7 本書の構成とロードマップ
第2章 確率と確率過程
2.1 はじめに
2.2 確率と確率変数
2.3 分布の例
2.4 確率過程
2.5 情報理論
2.6 確率変数の収束
第3章 パラメトリックモデリングにおける学習
3.1 はじめに
3.2 パラメーター推定：決定論的な見方
3.3 線形回帰
3.4 分類
3.5 バイアス推定とノンバイアス推定
3.6 クラメール・ラオ下界
3.7 十分統計量
3.8 正則化
3.9 バイアス・バリアンスのジレンマ
3.10 最尤法
3.11 ベイズ推定
3.12 次元の呪い
3.13 検証
3.14 期待損失関数と経験損失関数
3.15 ノンパラメトリックなモデリングと推定
第4章 平均二乗誤差線形推定
4.1 はじめに
4.2 平均二乗誤差線形推定：正規方程式
4.3 幾何学的視点：直交条件
4.4 複素変数への拡張
4.5 線形フィルター
4.6 MSE線形フィルター：周波数領域の視点
4.7 いくつかの典型的な応用
4.8 アルゴリズム的側面：Levinsonのアルゴリズムと格子梯子アルゴリズム
4.9 線形モデルの平均二乗誤差推定
4.10 時変統計：カルマンフィルター
第5章 オンライン学習
5.1 はじめに
5.2 最急降下法
5.3 平均二乗誤差コスト関数への適用
5.4 確率的近似
5.5 最小平均二乗適応アルゴリズム
5.6 アフィン射影アルゴリズム
5.7 複素数の場合
5.8 LMSの派生手法
5.9 シミュレーション例
5.10 適応決定フィードバック等化
5.11 線形制約LMS
5.12 LMSの追跡性能
5.13 分散学習：分散LMS
5.14 ケーススタディ：位置推定
5.15 おわりに：合意行列
第6章 最小二乗族
6.1 はじめに
6.2 最小二乗線形残差：幾何学的観点
6.3 LS推定量の統計的性質
6.4 入力行列の列空間の直交化
6.5 リッジ回帰：幾何学的側面
6.6 逐次最小二乗法
6.7 ニュートンの反復最小化法
6.8 RLS法の定常状態における性能
6.9 複素数値を持つデータの場合：広義線形RLS法
6.10 LS解の計算的側面
6.11 座標降下法と巡回座標降下法
6.12 シミュレーションの例
6.13 全最小二乗法
第7章 分類：古典的手法のまとめ
7.1 はじめに
7.2 ベイズ分類
7.3 決定（超）曲面
7.4 ナイーブベイズ分類器
7.5 最近傍規則
7.6 ロジスティック回帰
7.7 フィッシャーの線形判別法
7.8 分類木
7.9 分類器の組合せ
7.10 ブースティング原理
7.11 ブースト木
第8章 パラメーター学習：凸解析によるアプローチ
8.1 はじめに
8.2 凸集合と凸関数
8.3 凸集合への射影
8.4 凸集合への射影に関する基本定理
8.5 並列型POCS法
8.6 凸集合からパラメーター推定と機械学習へ
8.7 無限個の閉凸集合がある場合：オンライン学習への応用
8.8 制約付き学習
8.9 拡散型APSM
8.10 非平滑な凸損失関数の最適化
8.11 リグレット解析
8.12 オンライン学習とビッグデータへの応用：検討と考察
8.13 近接作用素
8.14 最適化における近接分離法
8.15 分散最適化：いくつかの重要事項
第9章 スパース性を意識した学習：概念と理論の基礎
9.1 はじめに
9.2 ノルムの探索
9.3 最小絶対縮小選択作用素(LASSO)
9.4 スパース信号表現
9.5 最もスパースな解を探索する
9.6 ℓ0最小化の唯一性
9.7 ℓ0とℓ1最小化の同等性：十分条件
9.8 ノイズを含む測定値からスパースな信号を復元するロバストな方法
9.9 圧縮センシング：ランダム性の栄光
9.10 事例研究：画像のノイズ除去
第10章 スパース性を意識した学習：アルゴリズムとアプリケーション
10.1 はじめに
10.2 スパース性促進アルゴリズム
10.3 スパース性を意識したテーマの変形
10.4 オンラインスパース性促進アルゴリズム
10.5 スパース性を学習する分析モデル
10.6 事例研究：時間・周波数解析
第11章 再生核ヒルベルト空間における学習
11.1 導入
11.2 一般化線形モデル
11.3 ボルテラモデル，ウィーナーモデル，ハマーシュタインモデル
11.4 カバーの定理：線形2分割における空間の容量
11.5 再生核ヒルベルト空間
11.6 表現定理
11.7 カーネルリッジ回帰
11.8 サポートベクター回帰
11.9 再びカーネルリッジ回帰
11.10 最適マージン分類：サポートベクターマシン
11.11 計算についての考察
11.12 ランダムフーリエ特徴
11.13 多カーネル学習
11.14 ノンパラメトリックなスパース性を意識した学習法：加法モデル
11.15 ケーススタディ：著者同定
第12章 ベイズ学習：推論とEMアルゴリズム
12.1 はじめに
12.2 回帰：ベイズの観点から
12.3 エビデンス関数とオッカムの剃刀の規則
12.4 潜在変数とEMアルゴリズム
12.5 線形回帰とEMアルゴリズム
12.6 混合ガウスモデル
12.7 EMアルゴリズム：下界の最大化の観点から
12.8 指数型分布族
12.9 学習モデルを結合する：確率論的観点から
第13章 ベイズ学習：近似推論とノンパラメトリックモデル
13.1 はじめに
13.2 ベイス学習における変分近似
13.3 線形回帰の変分ベイズ的アプローチ
13.4 混合ガウスモデリングにおける変分ベイズ的アプローチ
13.5 ベイズ推論におけるスパース性の扱い
13.6 スパースベイズ学習
13.7 関連ベクターマシンの枠組み
13.8 凸関数の双対性と変分境界
13.9 スパース性を意識した回帰
13.10 期待値伝搬
13.11 ノンパラメトリックなベイズモデリング
13.12 ガウス過程
13.13 ケーススタディ：ハイパースペクトル画像の分離
第14章 モンテカルロ法
14.1 はじめに
14.2 モンテカルロ法：主な概念
14.3 関数の変換に基づいた乱数サンプリング
14.4 棄却サンプリング
14.5 重点サンプリング
14.6 モンテカルロ法とEMアルゴリズム
14.7 マルコフ連鎖モンテカルロ法
14.8 メトロポリス法
14.9 ギブズサンプリング法
14.10 より効率的な手法を探して：一つの試み
14.11 事例研究：変化点検出
第15章 確率的グラフィカルモデル：第1部
15.1 はじめに
15.2 グラフィカルモデルの必要性
15.3 ベイジアンネットワークとマルコフ条件
15.4 無向グラフィカルモデル
15.5 因子グラフ
15.6 有向グラフのモラル化
15.7 厳密推論法：メッセージパッシングアルゴリズム
第16章 確率的グラフィカルモデル：第2部
16.1 はじめに
16.2 三角化グラフとジャンクションツリー
16.3 近似推論手法
16.4 動的グラフィカルモデル
16.5 隠れマルコフモデル
16.6 HMMの拡張：議論
16.7 グラフィカルモデルの学習
第17章 粒子フィルター
17.1 はじめに
17.2 逐次重点サンプリング
17.3 カルマンフィルターと粒子フィルター
17.4 粒子フィルター
第18章 ニューラルネットワークと深層学習
18.1 はじめに
18.2 パーセプトロン
18.3 フィードフォワード多層ニューラルネットワーク
18.4 誤差逆伝播法
18.5 損失関数の選択
18.6 勾配の消失と爆発
18.7 ネットワークの正則化
18.8 深層ニューラルネットワークの設計：概要
18.9 フィードフォワード型ニューラルネットワークの万能近似能力
18.10 ニューラルネットワークのベイズ的解釈
18.11 浅いアーキテクチャーと深いアーキテクチャー
18.12 畳み込みニューラルネットワーク
18.13 再帰型ニューラルネットワーク(RNN)
18.14 敵対的サンプル
18.15 深層生成モデル
18.16 カプセルネットワーク
18.17 深層ニューラルネットワーク：最後のコメント
18.18 ケーススタディ：ニューラル機械翻訳
第19章 次元削減
19.1 はじめに
19.2 本質的次元
19.3 主成分分析(PCA)
19.4 正準相関分析(CCA)
19.5 独立成分分析(ICA)
19.6 辞書学習：k-SVDアルゴリズム
19.7 非負値行列因子分解(NMF)
19.8 低次元モデルの学習：確率的観点から
19.9 非線形次元削減
19.10 低ランク行列因子分解：スパースモデリングによる道
19.11 ケーススタディ：fMRIデータ解析
1.1 歴史的な背景
1.2 人工知能と機械学習
1.3 データに隠されたものを学習するアルゴリズム
1.4 機械学習の代表的な応用例
1.5 機械学習：主要な方向性
1.6 教師なし学習と半教師あり学習
1.7 本書の構成とロードマップ
第2章 確率と確率過程
2.1 はじめに
2.2 確率と確率変数
2.3 分布の例
2.4 確率過程
2.5 情報理論
2.6 確率変数の収束
第3章 パラメトリックモデリングにおける学習
3.1 はじめに
3.2 パラメーター推定：決定論的な見方
3.3 線形回帰
3.4 分類
3.5 バイアス推定とノンバイアス推定
3.6 クラメール・ラオ下界
3.7 十分統計量
3.8 正則化
3.9 バイアス・バリアンスのジレンマ
3.10 最尤法
3.11 ベイズ推定
3.12 次元の呪い
3.13 検証
3.14 期待損失関数と経験損失関数
3.15 ノンパラメトリックなモデリングと推定
第4章 平均二乗誤差線形推定
4.1 はじめに
4.2 平均二乗誤差線形推定：正規方程式
4.3 幾何学的視点：直交条件
4.4 複素変数への拡張
4.5 線形フィルター
4.6 MSE線形フィルター：周波数領域の視点
4.7 いくつかの典型的な応用
4.8 アルゴリズム的側面：Levinsonのアルゴリズムと格子梯子アルゴリズム
4.9 線形モデルの平均二乗誤差推定
4.10 時変統計：カルマンフィルター
第5章 オンライン学習
5.1 はじめに
5.2 最急降下法
5.3 平均二乗誤差コスト関数への適用
5.4 確率的近似
5.5 最小平均二乗適応アルゴリズム
5.6 アフィン射影アルゴリズム
5.7 複素数の場合
5.8 LMSの派生手法
5.9 シミュレーション例
5.10 適応決定フィードバック等化
5.11 線形制約LMS
5.12 LMSの追跡性能
5.13 分散学習：分散LMS
5.14 ケーススタディ：位置推定
5.15 おわりに：合意行列
第6章 最小二乗族
6.1 はじめに
6.2 最小二乗線形残差：幾何学的観点
6.3 LS推定量の統計的性質
6.4 入力行列の列空間の直交化
6.5 リッジ回帰：幾何学的側面
6.6 逐次最小二乗法
6.7 ニュートンの反復最小化法
6.8 RLS法の定常状態における性能
6.9 複素数値を持つデータの場合：広義線形RLS法
6.10 LS解の計算的側面
6.11 座標降下法と巡回座標降下法
6.12 シミュレーションの例
6.13 全最小二乗法
第7章 分類：古典的手法のまとめ
7.1 はじめに
7.2 ベイズ分類
7.3 決定（超）曲面
7.4 ナイーブベイズ分類器
7.5 最近傍規則
7.6 ロジスティック回帰
7.7 フィッシャーの線形判別法
7.8 分類木
7.9 分類器の組合せ
7.10 ブースティング原理
7.11 ブースト木
第8章 パラメーター学習：凸解析によるアプローチ
8.1 はじめに
8.2 凸集合と凸関数
8.3 凸集合への射影
8.4 凸集合への射影に関する基本定理
8.5 並列型POCS法
8.6 凸集合からパラメーター推定と機械学習へ
8.7 無限個の閉凸集合がある場合：オンライン学習への応用
8.8 制約付き学習
8.9 拡散型APSM
8.10 非平滑な凸損失関数の最適化
8.11 リグレット解析
8.12 オンライン学習とビッグデータへの応用：検討と考察
8.13 近接作用素
8.14 最適化における近接分離法
8.15 分散最適化：いくつかの重要事項
第9章 スパース性を意識した学習：概念と理論の基礎
9.1 はじめに
9.2 ノルムの探索
9.3 最小絶対縮小選択作用素(LASSO)
9.4 スパース信号表現
9.5 最もスパースな解を探索する
9.6 ℓ0最小化の唯一性
9.7 ℓ0とℓ1最小化の同等性：十分条件
9.8 ノイズを含む測定値からスパースな信号を復元するロバストな方法
9.9 圧縮センシング：ランダム性の栄光
9.10 事例研究：画像のノイズ除去
第10章 スパース性を意識した学習：アルゴリズムとアプリケーション
10.1 はじめに
10.2 スパース性促進アルゴリズム
10.3 スパース性を意識したテーマの変形
10.4 オンラインスパース性促進アルゴリズム
10.5 スパース性を学習する分析モデル
10.6 事例研究：時間・周波数解析
第11章 再生核ヒルベルト空間における学習
11.1 導入
11.2 一般化線形モデル
11.3 ボルテラモデル，ウィーナーモデル，ハマーシュタインモデル
11.4 カバーの定理：線形2分割における空間の容量
11.5 再生核ヒルベルト空間
11.6 表現定理
11.7 カーネルリッジ回帰
11.8 サポートベクター回帰
11.9 再びカーネルリッジ回帰
11.10 最適マージン分類：サポートベクターマシン
11.11 計算についての考察
11.12 ランダムフーリエ特徴
11.13 多カーネル学習
11.14 ノンパラメトリックなスパース性を意識した学習法：加法モデル
11.15 ケーススタディ：著者同定
第12章 ベイズ学習：推論とEMアルゴリズム
12.1 はじめに
12.2 回帰：ベイズの観点から
12.3 エビデンス関数とオッカムの剃刀の規則
12.4 潜在変数とEMアルゴリズム
12.5 線形回帰とEMアルゴリズム
12.6 混合ガウスモデル
12.7 EMアルゴリズム：下界の最大化の観点から
12.8 指数型分布族
12.9 学習モデルを結合する：確率論的観点から
第13章 ベイズ学習：近似推論とノンパラメトリックモデル
13.1 はじめに
13.2 ベイス学習における変分近似
13.3 線形回帰の変分ベイズ的アプローチ
13.4 混合ガウスモデリングにおける変分ベイズ的アプローチ
13.5 ベイズ推論におけるスパース性の扱い
13.6 スパースベイズ学習
13.7 関連ベクターマシンの枠組み
13.8 凸関数の双対性と変分境界
13.9 スパース性を意識した回帰
13.10 期待値伝搬
13.11 ノンパラメトリックなベイズモデリング
13.12 ガウス過程
13.13 ケーススタディ：ハイパースペクトル画像の分離
第14章 モンテカルロ法
14.1 はじめに
14.2 モンテカルロ法：主な概念
14.3 関数の変換に基づいた乱数サンプリング
14.4 棄却サンプリング
14.5 重点サンプリング
14.6 モンテカルロ法とEMアルゴリズム
14.7 マルコフ連鎖モンテカルロ法
14.8 メトロポリス法
14.9 ギブズサンプリング法
14.10 より効率的な手法を探して：一つの試み
14.11 事例研究：変化点検出
第15章 確率的グラフィカルモデル：第1部
15.1 はじめに
15.2 グラフィカルモデルの必要性
15.3 ベイジアンネットワークとマルコフ条件
15.4 無向グラフィカルモデル
15.5 因子グラフ
15.6 有向グラフのモラル化
15.7 厳密推論法：メッセージパッシングアルゴリズム
第16章 確率的グラフィカルモデル：第2部
16.1 はじめに
16.2 三角化グラフとジャンクションツリー
16.3 近似推論手法
16.4 動的グラフィカルモデル
16.5 隠れマルコフモデル
16.6 HMMの拡張：議論
16.7 グラフィカルモデルの学習
第17章 粒子フィルター
17.1 はじめに
17.2 逐次重点サンプリング
17.3 カルマンフィルターと粒子フィルター
17.4 粒子フィルター
第18章 ニューラルネットワークと深層学習
18.1 はじめに
18.2 パーセプトロン
18.3 フィードフォワード多層ニューラルネットワーク
18.4 誤差逆伝播法
18.5 損失関数の選択
18.6 勾配の消失と爆発
18.7 ネットワークの正則化
18.8 深層ニューラルネットワークの設計：概要
18.9 フィードフォワード型ニューラルネットワークの万能近似能力
18.10 ニューラルネットワークのベイズ的解釈
18.11 浅いアーキテクチャーと深いアーキテクチャー
18.12 畳み込みニューラルネットワーク
18.13 再帰型ニューラルネットワーク(RNN)
18.14 敵対的サンプル
18.15 深層生成モデル
18.16 カプセルネットワーク
18.17 深層ニューラルネットワーク：最後のコメント
18.18 ケーススタディ：ニューラル機械翻訳
第19章 次元削減
19.1 はじめに
19.2 本質的次元
19.3 主成分分析(PCA)
19.4 正準相関分析(CCA)
19.5 独立成分分析(ICA)
19.6 辞書学習：k-SVDアルゴリズム
19.7 非負値行列因子分解(NMF)
19.8 低次元モデルの学習：確率的観点から
19.9 非線形次元削減
19.10 低ランク行列因子分解：スパースモデリングによる道
19.11 ケーススタディ：fMRIデータ解析
著者情報
Sergios Theodoridis
Theodoridis, Sergios, 1951-
岩野 和生
岩野, 和生
中島 秀之
中島, 秀之, 1952-
石川 達也
上田 修功
浦本 直彦
岡本 青史
奥野 貴之
鹿島 久嗣
澤田 宏
中村 英史
南 悦郎
