評価指標入門〜データサイエンスとビジネスをつなぐ架け橋

発売日 : 2023年02月18日

著者／編集 : 高柳 慎一/長田 怜士/株式会社ホクソエム

出版社 : 技術評論社

発行形態 : 単行本

「無自覚なモデル改善」ほど無駄なものはない。ビジネスの問題をいかにして機械学習の問題に落とし込むのか。データサイエンスに閉じた問題を解くだけのデータサイエンティストは生き残れない。

目次：評価指標入門

ビジネスとデータサイエンスを架けるもの

1章 評価指標とKPI
1.1 機械学習と評価指標
1.2 機械学習と最適化計算
1.3 機械学習プロジェクトの流れ
1.4 評価指標とは
1.5 評価指標とKPIと目的関数の関係
1.6 評価指標の決め方を間違えないために
1.7 KPIの特質を損失関数と評価指標に反映する
1.8 まとめ

2章 回帰の評価指標
2.1 回帰とは
2.2 データセットと回帰モデルの準備
2.3 平均絶対誤差
2.4 平均絶対パーセント誤差
2.5 二乗平均平方誤差
2.6 対数平均二乗誤差
2.7 モデルの評価
2.8 真に使うべき評価指標
2.9 その他の評価指標
2.10 まとめ

3章 二値分類における評価指標
3.1 二値分類と評価指標
3.2 データセット
3.3 混同行列
3.4 正解率
3.5 マシューズ相関係数
3.6 適合率
3.7 再現率
3.8 F1-score
3.9 G-Mean
3.10 ROC-AUC
3.11 PR-AUC
3.12 pAUC
3.13 Employee Promotion Dataデータセットの評価
3.14 ビジネスインパクトの期待値計算
3.15 コスト考慮型学習
3.16 まとめ

4章 多クラス分類の評価指標
4.1 多クラス分類とは
4.2 データセット
4.3 混同行列
4.4 正解率
4.5 適合率
4.6 再現率
4.7 F1-score
4.8 ROC-AUC
4.9 最適な評価指標の考察
4.10 まとめ
付録　ビジネス構造の数理モデリング

高柳 慎一

高柳慎一 2020年 総合研究大学院大学複合科学研究科博士課程修了, 博士（統計科学） 客員准教授以外にも阿修羅の如くいくつもの顔を持ち、会社・学会・家庭において、妖精・座敷童子・AIエンジニア・幹事・父を兼務。 愛娘の名前は凪（なぎ）で韻を踏んでいる。 「老兵は死なず、ただ消え去るのみ」のマインドで書籍関連業から退くべく若者のプロデュース（監修）業に邁進するも、数年前に行った”編集の悪魔”との契約に基づき地獄より召喚され本書の執筆に至る。 近年の訳書・監修書籍は『前処理大全』技術評論社（監修,2018）『効果検証入門』技術評論社（監修,2020）『施策デザインのための機械学習入門』技術評論社（監修,2021）『Federated Learning』共立出版（共訳，2022）等多数。 本書のはじめに、1章、付録を執筆、2章を共同執筆。

高柳, 慎一, 1981-

長田 亮二

長田 怜士

長田怜士 大阪電気通信大学情報通信工学部情報工学科卒業(学士)。 新卒でセキュリティエンジニアをしていたが、機械学習がしたい欲求に抗えず株式会社ALBERTに転職し、機械学習プロジェクトの経験を積む。その後スタートアップ2社を渡り歩き、現職の株式会社ユーザベースに入社。 現在はユーザベースのSaaS事業にて、機械学習を用いた機能開発・運用を主に担当。 ありそうで意外と見かけない「ビジネスの現場においてモデルの評価指標をどう設定すれば良いのか」という質問に答えられる書籍を作れればと思い、執筆に携わりました。ぜひ本書をお楽しみいただければと思います。 本書の3章、4章を執筆、2章を共同執筆。

長田, 怜士

長田怜士

ホクソエム

株式会社ホクソエム