Human-in-the-Loop機械学習
書籍情報
発売日 : 2023年12月25日
著者／編集 : Robert (Munro) Monarch/上田 隼也/角野 為耶/伊藤 寛祥
出版社 : 共立出版
発行形態 : 単行本
ページ数 : 428p
書籍説明
内容紹介
本書は、Human-in-the-Loop機械学習（人間参加型AI）の活用により、効率よく高品質な学習データを作成し、機械学習モデルの品質とアノテーションのコストパフォーマンスを改善する方法を解説する。実世界で応用されるほとんどの機械学習モデルは、人間のアノテーターが作成した学習データセットを利用して構築される。それゆえ機械学習を実世界の問題に応用していくには、この学習データセットをいかに高品質とするかが重要である。学習データセットが高品質なら、単純な機械学習アルゴリズムでも実用的に十分な性能を引き出すことができる。本書では、アノテーションのプロセスに能動学習という機械学習手法を導入して、アノテーションの品質とコストパフォーマンスを劇的に向上させるテクニックを軸に、AIと人が互いに助け合いながらより良いAIシステムを開発するために役立つ、幅広く、かつ奥深い知見を提供する。本書は4部構成の大著であり、Human-in-the-Loop機械学習や能動学習の解説だけではなく、アノテーションの品質管理手法やアノテーターの評価・管理手法、アノテーションツールの設計方法といった、実際の機械学習プロジェクトに必要な極めて実践的な内容を豊富に含んでいる。データサイエンティストや機械学習エンジニアはもちろん、アノテーションの実務に関わる管理者・技術者にも本書を読んでいただき、人がより有効な形でモデル開発に関与する「人間参加型AI」の実現に繋げてほしい。[原著: Human-in-the-Loop Machine Learning: Active learning and annotation for human-centered AI, Manning Publications, 2021]
目次
【第I部 概要】
第1章 Human-in-the-Loop機械学習の概要
1.1 Human-in-the-Loop機械学習の基本原則
1.2 アノテーションとは？
1.3 能動学習の導入：学習データ作成の高速化とコスト削減
1.4 機械学習とヒューマン－コンピュータインタラクション
1.5 機械学習に支援される人間vs.人間に支援される機械学習
1.6 転移学習によってモデルを作成する
1.7 本書が解説する内容
まとめ
第2章 Human-in-the-Loop機械学習を始める
2.1 能動学習“もどき”を超えて：最初の能動学習アルゴリズム
2.2 最初のシステムのアーキテクチャ
2.3 能動学習を支援するために，モデルの予測値とデータを解釈する
2.4 効率的にラベル付けするためのインターフェースを構築する
2.5 最初のHuman-in-the-Loop機械学習システムをデプロイする
まとめ
【第II部 能動学習】
第3章 不確実性サンプリング
3.1 機械学習モデルの不確実性を解釈する
3.2 不確実性サンプリングのアルゴリズム
3.3 さまざまなモデルが混乱している部分を特定する
3.4 複数の予測を用いて不確実性を計算する
3.5 適切なアノテーション数を選択する
3.6 能動学習の評価方法
3.7 不確実性サンプリングのチートシート
3.8 関連文献
まとめ
第4章 多様性サンプリング
4.1 何を知らないかを知る：モデルの知識のギャップを特定する
4.2 モデルベースの外れ値サンプリング
4.3 クラスタベースのサンプリング
4.4 代表点サンプリング
4.5 実世界の多様性を考慮したサンプリング
4.6 さまざまなモデルにおける多様性サンプリング
4.7 多様性サンプリングのチートシート
4.8 関連文献
まとめ
第5章 高度な能動学習
5.1 不確実性サンプリングと多様性サンプリングの組み合わせ
5.2 能動的転移学習のための不確実性サンプリング
5.3 代表点サンプリングに能動的転移学習を適用する
5.4 適応型サンプリングの能動的転移学習
5.5 高度な能動学習のチートシート
5.6 関連文献
まとめ
第6章 能動学習をさまざまな機械学習タスクに適用する
6.1 能動学習を物体検出に応用する
6.2 能動学習をセマンティックセグメンテーションに応用する
6.3 能動学習を系列ラベリングに応用する
6.4 能動学習を言語生成に応用する
6.5 能動学習を他の機械学習タスクに応用する
6.6 アノテーションに適したデータ件数を決定する
6.7 関連文献
まとめ
【第III部 アノテーション】
第7章 アノテーターとの協働
7.1 アノテーションとは？
7.2 社内ワーカー
7.3 アウトソーシングワーカー
7.4 クラウドワーカー
7.5 その他のワーカー
7.6 必要なアノテーション量を見積もる
まとめ
第8章 アノテーションの品質管理
8.1 アノテーションと真値を比較する
8.2 アノテーター間の一致度
8.3 複数のアノテーション結果の集約により学習データを作成する
8.4 専門家のレビューによる品質管理
8.5 複数ステップのワークフローとレビュータスク
8.6 関連文献
まとめ
第9章 高度なアノテーションとデータ拡張
9.1 主観的なタスクのためのアノテーション品質
9.2 機械学習によるアノテーションの品質管理
9.3 モデルの予測をアノテーションとして活用する
9.4 埋め込み表現と文脈を考慮した埋め込み表現
9.5 検索ベースシステムとルールベースシステム
9.6 教師なしモデルを用いた弱教師あり学習
9.7 合成データ，データ作成，データ拡張
9.8 機械学習モデルでアノテーション情報を活用する
9.9 関連文献
まとめ
第10章 さまざまな機械学習タスクにおけるアノテーション品質
10.1 連続値を扱うタスクにおけるアノテーション品質
10.2 物体検出におけるアノテーション品質
10.3 セマンティックセグメンテーションにおけるアノテーション品質
10.4 系列ラベリングにおけるアノテーション品質
10.5 言語生成におけるアノテーション品質
10.6 その他の機械学習タスクにおけるアノテーション品質
10.7 関連文献
まとめ
【第IV部 機械学習のためのヒューマン－コンピュータインタラクション】
第11章 データアノテーションのためのインターフェース
11.1 ヒューマン－コンピュータインタラクションの基本原理
11.2 効果的な慣例の破り方
11.3 アノテーションインターフェースにおけるプライミング効果
11.4 人間と機械の知能を融合する
11.5 人間の知性を最大限に引き出すスマートインターフェース
11.6 人間の作業を支援する機械学習
11.7 関連文献
まとめ
第12章 Human-in-the-Loop機械学習を組み込んだアプリケーション
12.1 Human-in-the-Loop機械学習プロダクトを定義する
12.2 例1：ニュースの見出しの探索的データ分析
12.3 例2：食品衛生に関する事件のデータ収集
12.4 例3：画像中の自転車の識別
12.5 関連文献
まとめ
付録A 機械学習のおさらい
A.1 モデルの予測を解釈する
A.2 ソフトマックス関数を理解する
A.3 Human-in-the-Loop機械学習システムの性能測定
索 引
第1章 Human-in-the-Loop機械学習の概要
1.1 Human-in-the-Loop機械学習の基本原則
1.2 アノテーションとは？
1.3 能動学習の導入：学習データ作成の高速化とコスト削減
1.4 機械学習とヒューマン－コンピュータインタラクション
1.5 機械学習に支援される人間vs.人間に支援される機械学習
1.6 転移学習によってモデルを作成する
1.7 本書が解説する内容
まとめ
第2章 Human-in-the-Loop機械学習を始める
2.1 能動学習“もどき”を超えて：最初の能動学習アルゴリズム
2.2 最初のシステムのアーキテクチャ
2.3 能動学習を支援するために，モデルの予測値とデータを解釈する
2.4 効率的にラベル付けするためのインターフェースを構築する
2.5 最初のHuman-in-the-Loop機械学習システムをデプロイする
まとめ
【第II部 能動学習】
第3章 不確実性サンプリング
3.1 機械学習モデルの不確実性を解釈する
3.2 不確実性サンプリングのアルゴリズム
3.3 さまざまなモデルが混乱している部分を特定する
3.4 複数の予測を用いて不確実性を計算する
3.5 適切なアノテーション数を選択する
3.6 能動学習の評価方法
3.7 不確実性サンプリングのチートシート
3.8 関連文献
まとめ
第4章 多様性サンプリング
4.1 何を知らないかを知る：モデルの知識のギャップを特定する
4.2 モデルベースの外れ値サンプリング
4.3 クラスタベースのサンプリング
4.4 代表点サンプリング
4.5 実世界の多様性を考慮したサンプリング
4.6 さまざまなモデルにおける多様性サンプリング
4.7 多様性サンプリングのチートシート
4.8 関連文献
まとめ
第5章 高度な能動学習
5.1 不確実性サンプリングと多様性サンプリングの組み合わせ
5.2 能動的転移学習のための不確実性サンプリング
5.3 代表点サンプリングに能動的転移学習を適用する
5.4 適応型サンプリングの能動的転移学習
5.5 高度な能動学習のチートシート
5.6 関連文献
まとめ
第6章 能動学習をさまざまな機械学習タスクに適用する
6.1 能動学習を物体検出に応用する
6.2 能動学習をセマンティックセグメンテーションに応用する
6.3 能動学習を系列ラベリングに応用する
6.4 能動学習を言語生成に応用する
6.5 能動学習を他の機械学習タスクに応用する
6.6 アノテーションに適したデータ件数を決定する
6.7 関連文献
まとめ
【第III部 アノテーション】
第7章 アノテーターとの協働
7.1 アノテーションとは？
7.2 社内ワーカー
7.3 アウトソーシングワーカー
7.4 クラウドワーカー
7.5 その他のワーカー
7.6 必要なアノテーション量を見積もる
まとめ
第8章 アノテーションの品質管理
8.1 アノテーションと真値を比較する
8.2 アノテーター間の一致度
8.3 複数のアノテーション結果の集約により学習データを作成する
8.4 専門家のレビューによる品質管理
8.5 複数ステップのワークフローとレビュータスク
8.6 関連文献
まとめ
第9章 高度なアノテーションとデータ拡張
9.1 主観的なタスクのためのアノテーション品質
9.2 機械学習によるアノテーションの品質管理
9.3 モデルの予測をアノテーションとして活用する
9.4 埋め込み表現と文脈を考慮した埋め込み表現
9.5 検索ベースシステムとルールベースシステム
9.6 教師なしモデルを用いた弱教師あり学習
9.7 合成データ，データ作成，データ拡張
9.8 機械学習モデルでアノテーション情報を活用する
9.9 関連文献
まとめ
第10章 さまざまな機械学習タスクにおけるアノテーション品質
10.1 連続値を扱うタスクにおけるアノテーション品質
10.2 物体検出におけるアノテーション品質
10.3 セマンティックセグメンテーションにおけるアノテーション品質
10.4 系列ラベリングにおけるアノテーション品質
10.5 言語生成におけるアノテーション品質
10.6 その他の機械学習タスクにおけるアノテーション品質
10.7 関連文献
まとめ
【第IV部 機械学習のためのヒューマン－コンピュータインタラクション】
第11章 データアノテーションのためのインターフェース
11.1 ヒューマン－コンピュータインタラクションの基本原理
11.2 効果的な慣例の破り方
11.3 アノテーションインターフェースにおけるプライミング効果
11.4 人間と機械の知能を融合する
11.5 人間の知性を最大限に引き出すスマートインターフェース
11.6 人間の作業を支援する機械学習
11.7 関連文献
まとめ
第12章 Human-in-the-Loop機械学習を組み込んだアプリケーション
12.1 Human-in-the-Loop機械学習プロダクトを定義する
12.2 例1：ニュースの見出しの探索的データ分析
12.3 例2：食品衛生に関する事件のデータ収集
12.4 例3：画像中の自転車の識別
12.5 関連文献
まとめ
付録A 機械学習のおさらい
A.1 モデルの予測を解釈する
A.2 ソフトマックス関数を理解する
A.3 Human-in-the-Loop機械学習システムの性能測定
索 引
著者情報
Robert (Munro) Monarch
上田 隼也
角野 為耶
伊藤 寛祥
