最適化アルゴリズム
書籍情報
発売日 : 2022年12月23日
著者／編集 : Mykel J. Kochenderfer/Tim A. Wheeler/岸本 祥吾/島田 直樹/清水 翔司/田中 大毅
出版社 : 共立出版
発行形態 : 単行本
書籍説明
内容紹介
本書は実践的なアルゴリズムに焦点を当てた、最適化についての包括的な入門書である。いくつかの指標を制約の範囲で最適化するシステムの設計を目的とするような工学的観点から最適化を取り扱う。読者は、高次元空間の探索、複数の目的が競合する問題への対応、評価指標への不確実性の取り込み、といった多様な課題に対する計算論的アプローチを学ぶことができるだろう。数学的アプローチの背後にある考え方が図と例、および演習問題によって説明される他、プログラミング言語Ｊｕｌｉａによる具体的な実装例も提供されている。
目次
1 イントロダクション
1.1 歴史
1.2 最適化のプロセス
1.3 標準的な最適化問題
1.4 制約
1.5 臨界点
1.6 局所的最適性の条件
1.7 等高線図
1.8 全体概要
1.9 まとめ
1.10 演習問題
2 微分・勾配
2.1 導関数
2.2 勾配
2.3 数値微分
2.4 自動微分
2.5 まとめ
2.6 演習問題
3 囲い込み法
3.1 単峰性
3.2 最初の囲い込み区間を見つける方法
3.3 Fibonacci 探索
3.4 黄金分割探索
3.5 2 次当てはめ探索
3.6 Shubert-Piyavskii法
3.7 二分法
3.8 まとめ
3.9 演習問題
4 局所降下法
4.1 降下方向への反復
4.2 直線探索
4.3 近似直線探索
4.4 信頼領域法
4.5 停止条件
4.6 まとめ
4.7 演習問題
5 1次法
5.1 勾配降下法
5.2 共役勾配法
5.3 モメンタム法
5.4 Nesterovモメンタム法
5.5 Adagrad
5.6 RMSProp
5.7 Adadelta
5.8 Adam
5.9 超勾配降下法
5.10 まとめ
5.11 演習問題
6 2次法
6.1 Newton法
6.2 セカント法
6.3 準Newton法
6.4 まとめ
6.5 演習問題
7 直接法
7.1 巡回ルール付き座標降下法
7.2 Powell法
7.3 Hooke-Jeeves法
7.4 一般化パターンサーチ法
7.5 Nelder-Meadのシンプレックス法
7.6 矩形分割法
7.7 まとめ
7.8 演習問題
8 確率的手法
8.1 ノイズ付き降下法
8.2 メッシュ適応直接探索
8.3 焼きなまし法
8.4 クロスエントロピー法
8.5 自然進化戦略
8.6 共分散行列適応進化戦略(CMA-ES)
8.7 まとめ
8.8 演習問題
9 集団に基づく手法
9.1 初期化
9.2 遺伝的アルゴリズム
9.3 差分進化
9.4 粒子群最適化
9.5 ホタルアルゴリズム
9.6 カッコウ探索
9.7 ハイブリッド法
9.8 まとめ
9.9 演習問題
10 制約条件
10.1 制約付き最適化
10.2 制約条件の種類
10.3 制約を取り除く変換
10.4 ラグランジュの未定乗数法
10.5 不等式制約
10.6 双対性
10.7 ペナルティ法
10.8 拡張ラグランジュ法
10.9 内点法
10.10 まとめ
10.11 演習問題
11 線形計画法
11.1 問題の定式化
11.2 単体法
11.3 最適性の証拠
11.4 まとめ
11.5 演習問題
12 多目的最適化
12.1 パレート最適性
12.2 制約法
12.3 重み付け法
12.4 多目的の集団に基づく手法
12.5 選好誘出
12.6 まとめ
12.7 演習問題
13 サンプリング計画
13.1 完全実施要因計画
13.2 ランダムサンプリング
13.3 一様射影計画
13.4 層別サンプリング
13.5 空間充填指標
13.6 空間充填部分集合
13.7 準ランダム列
13.8 まとめ
13.9 演習問題
14 代理モデル
14.1 代理モデルのフィッティング
14.2 線形モデル
14.3 基底関数
14.4 ノイズ入り目的関数のフィッティング
14.5 モデル選択
14.6 まとめ
14.7 演習問題
15 確率的代理モデル
15.1 ガウス分布
15.2 ガウス過程
15.3 予測
15.4 勾配測定
15.5 ノイズ入り測定値
15.6 ガウス過程のフィッティング
15.7 まとめ
15.8 演習問題
16 代理モデルに基づく最適化
16.1 予測に基づく探索
16.2 誤差に基づく探索
16.3 信頼性下限関数を用いた探索
16.4 改善確率による探索
16.5 期待改善度による探索
16.6 安全最適化
16.7 まとめ
16.8 演習問題
17 不確実性下の最適化
17.1 不確実性
17.2 集合に基づく不確実性
17.3 確率的不確実性
17.4 まとめ
17.5 演習問題
18 不確実性伝搬
18.1 サンプリング法
18.2 テイラー近似
18.3 多項式カオス
18.4 ベイジアンモンテカルロ法
18.5 まとめ
18.6 演習問題
19 離散最適化
19.1 整数計画問題
19.2 ラウンディング
19.3 切除平面法
19.4 分枝限定法
19.5 動的計画法
19.6 蟻コロニー最適化
19.7 まとめ
19.8 演習問題
20 式の最適化
20.1 文法
20.2 遺伝的プログラミング
20.3 文法進化
20.4 確率文法
20.5 プロトタイプ木
20.6 まとめ
20.7 演習問題
21 複合領域設計最適化
21.1 領域の解析
21.2 領域間の両立性
21.3 アーキテクチャ
21.4 複合領域設計実行可能
21.5 逐次最適化
21.6 個別領域実行可能
21.7 協調最適化
21.8 同時解析設計
21.9 まとめ
21.10 演習問題
付録A Julia
A.1 型
A.2 関数
A.3 制御フロー
A.4 パッケージ
付録B ベンチマーク関数
B.1 Ackley関数
B.2 Booth関数
B.3 Branin関数
B.4 flower関数
B.5 Michalewicz関数
B.6 Rosenbrockのbanana関数
B.7 Wheelerのリッジ関数
B.8 circle関数
付録C 数学的予備知識
C.1 漸近記法
C.2 テイラー展開
C.3 凸性
C.4 ノルム
C.5 行列における解析
C.6 正定値性
C.7 正規分布
C.8 ガウス求積
付録D 解答例
文献
索引
1.1 歴史
1.2 最適化のプロセス
1.3 標準的な最適化問題
1.4 制約
1.5 臨界点
1.6 局所的最適性の条件
1.7 等高線図
1.8 全体概要
1.9 まとめ
1.10 演習問題
2 微分・勾配
2.1 導関数
2.2 勾配
2.3 数値微分
2.4 自動微分
2.5 まとめ
2.6 演習問題
3 囲い込み法
3.1 単峰性
3.2 最初の囲い込み区間を見つける方法
3.3 Fibonacci 探索
3.4 黄金分割探索
3.5 2 次当てはめ探索
3.6 Shubert-Piyavskii法
3.7 二分法
3.8 まとめ
3.9 演習問題
4 局所降下法
4.1 降下方向への反復
4.2 直線探索
4.3 近似直線探索
4.4 信頼領域法
4.5 停止条件
4.6 まとめ
4.7 演習問題
5 1次法
5.1 勾配降下法
5.2 共役勾配法
5.3 モメンタム法
5.4 Nesterovモメンタム法
5.5 Adagrad
5.6 RMSProp
5.7 Adadelta
5.8 Adam
5.9 超勾配降下法
5.10 まとめ
5.11 演習問題
6 2次法
6.1 Newton法
6.2 セカント法
6.3 準Newton法
6.4 まとめ
6.5 演習問題
7 直接法
7.1 巡回ルール付き座標降下法
7.2 Powell法
7.3 Hooke-Jeeves法
7.4 一般化パターンサーチ法
7.5 Nelder-Meadのシンプレックス法
7.6 矩形分割法
7.7 まとめ
7.8 演習問題
8 確率的手法
8.1 ノイズ付き降下法
8.2 メッシュ適応直接探索
8.3 焼きなまし法
8.4 クロスエントロピー法
8.5 自然進化戦略
8.6 共分散行列適応進化戦略(CMA-ES)
8.7 まとめ
8.8 演習問題
9 集団に基づく手法
9.1 初期化
9.2 遺伝的アルゴリズム
9.3 差分進化
9.4 粒子群最適化
9.5 ホタルアルゴリズム
9.6 カッコウ探索
9.7 ハイブリッド法
9.8 まとめ
9.9 演習問題
10 制約条件
10.1 制約付き最適化
10.2 制約条件の種類
10.3 制約を取り除く変換
10.4 ラグランジュの未定乗数法
10.5 不等式制約
10.6 双対性
10.7 ペナルティ法
10.8 拡張ラグランジュ法
10.9 内点法
10.10 まとめ
10.11 演習問題
11 線形計画法
11.1 問題の定式化
11.2 単体法
11.3 最適性の証拠
11.4 まとめ
11.5 演習問題
12 多目的最適化
12.1 パレート最適性
12.2 制約法
12.3 重み付け法
12.4 多目的の集団に基づく手法
12.5 選好誘出
12.6 まとめ
12.7 演習問題
13 サンプリング計画
13.1 完全実施要因計画
13.2 ランダムサンプリング
13.3 一様射影計画
13.4 層別サンプリング
13.5 空間充填指標
13.6 空間充填部分集合
13.7 準ランダム列
13.8 まとめ
13.9 演習問題
14 代理モデル
14.1 代理モデルのフィッティング
14.2 線形モデル
14.3 基底関数
14.4 ノイズ入り目的関数のフィッティング
14.5 モデル選択
14.6 まとめ
14.7 演習問題
15 確率的代理モデル
15.1 ガウス分布
15.2 ガウス過程
15.3 予測
15.4 勾配測定
15.5 ノイズ入り測定値
15.6 ガウス過程のフィッティング
15.7 まとめ
15.8 演習問題
16 代理モデルに基づく最適化
16.1 予測に基づく探索
16.2 誤差に基づく探索
16.3 信頼性下限関数を用いた探索
16.4 改善確率による探索
16.5 期待改善度による探索
16.6 安全最適化
16.7 まとめ
16.8 演習問題
17 不確実性下の最適化
17.1 不確実性
17.2 集合に基づく不確実性
17.3 確率的不確実性
17.4 まとめ
17.5 演習問題
18 不確実性伝搬
18.1 サンプリング法
18.2 テイラー近似
18.3 多項式カオス
18.4 ベイジアンモンテカルロ法
18.5 まとめ
18.6 演習問題
19 離散最適化
19.1 整数計画問題
19.2 ラウンディング
19.3 切除平面法
19.4 分枝限定法
19.5 動的計画法
19.6 蟻コロニー最適化
19.7 まとめ
19.8 演習問題
20 式の最適化
20.1 文法
20.2 遺伝的プログラミング
20.3 文法進化
20.4 確率文法
20.5 プロトタイプ木
20.6 まとめ
20.7 演習問題
21 複合領域設計最適化
21.1 領域の解析
21.2 領域間の両立性
21.3 アーキテクチャ
21.4 複合領域設計実行可能
21.5 逐次最適化
21.6 個別領域実行可能
21.7 協調最適化
21.8 同時解析設計
21.9 まとめ
21.10 演習問題
付録A Julia
A.1 型
A.2 関数
A.3 制御フロー
A.4 パッケージ
付録B ベンチマーク関数
B.1 Ackley関数
B.2 Booth関数
B.3 Branin関数
B.4 flower関数
B.5 Michalewicz関数
B.6 Rosenbrockのbanana関数
B.7 Wheelerのリッジ関数
B.8 circle関数
付録C 数学的予備知識
C.1 漸近記法
C.2 テイラー展開
C.3 凸性
C.4 ノルム
C.5 行列における解析
C.6 正定値性
C.7 正規分布
C.8 ガウス求積
付録D 解答例
文献
索引
著者情報
Kochenderfer, Mykel J., 1980-
Mykel J. Kochenderfer
Tim A. Wheeler
Wheeler, Tim A. (Tim Allan)
岸本 祥吾
岸本, 祥吾
島田 直樹
島田, 直樹, pub. 2022
清水 翔司
清水, 翔司
田中 大毅
田中, 大毅
原田 耕平
原田, 耕平
松岡 勇気
松岡, 勇気
