AIソフトウェアのテストーー答のない答え合わせ [4つの手法]

発売日 : 2021年05月25日

著者／編集 : 佐藤 直人/小川 秀人/來間 啓伸/明神 智之

出版社 : リックテレコム

発行形態 : 単行本

人智を越えたＡＩによる推論が、果たして本当に正しいのか、どの程度信頼できるのか、誰も答を持っていません。正解が分からないのですから、従来のソフトウェアテストは一切成り立ちません。かといって、テストなし、品質保証なしのシステムを、現実世界で使えるはずがありません。本書はその解決策として、メタモルフィックテスティング、ニューロンカバレッジ、最大安全半径、網羅検証の４つを紹介します。教師あり機械学習で開発したディープニューラルネットワークおよびアンサンブルツリー（ＸＧＢｏｏｓｔやランダムフォレスト）が解く分類問題（画像識別）と回帰問題（価格予測）の実例を交え、４つのテスト手法の原理と手順を解説。それぞれのチュートリアルを通じて実践スキルも身に付きます。

序章 A I システムとテスト
0.1　A I システムにテストが必要な理由
0.2　厄介な問題＝課題と解決方法にまたがる矛盾

第1章 AIとは何か？
1.1　AIの種類
1.2　AIソフトウェア
1.3　教師あり学習の仕組み
1.4　AIの開発プロセス
1.5　AIモデルの具体例

第2章　AIソフトウェアのテストの難しさ
2.1　従来型ソフトウェアとの違い
2.2　従来のソフトウェアテストの考え方
2.3　AIソフトウェアはテストできない！？
2.4　AIソフトウェアのテストアプローチ

第3章　チュートリアルの準備
3.1　実行環境のセットアップ
3.2　テストツールのダウンロード
3.3　学習に使用するデータセット
3.4　AIモデルの学習
3.5　学習済みモデルの実行確認

第4章　メタモルフィックテスティング
4.1　メタモルフィックテスティングとは？
4.2　チュートリアル

第5章　ニューロンカバレッジテスティング
5.1　従来のカバレッジとニューロンカバレッジ
5.2　ニューロンカバレッジをテストに用いる
5.3　チュートリアル

第6章　最大安全半径
6.1　最大安全半径とは？
6.2　最大安全半径の計算方法
6.3　チュートリアル

第7章　網羅検証
7.1　網羅検証とは？
7.2　XGBoostモデルの網羅検証
7.3　検証性質を満たさない入力データ範囲の探索
7.4　DNNモデルの網羅検証
7.補足　各種ファイルの記法

佐藤 直人

佐藤直人（さとう なおと）：株式会社日立製作所 主任研究員（2005年入社）。専門分野はソフトウェアテスト、形式手法など。博士（工学）。趣味は読書だが、最近はサブスクリプション型動画サービスに押されつつある。また、ルアーでのシーバスフィッシングに手を出すも、本書執筆時点ではまだ一匹も釣れていない。

佐藤, 直人, pub. 2021

小川 秀人

小川秀人（おがわ ひでと）：AIプロダクト品質保証コンソーシアム（QA4AI）運営副委員長兼ロゴデザイン担当。機械学習品質マネジメント検討委員会（AIQM）委員。株式会社日立製作所 主管研究員（1996年入社）。専門分野はソフトウェア工学。博士（情報科学）。共著書に『AIビジネス戦略～効果的な知財戦略・新規事業の立て方・実用化への筋道～』2020年・情報機構刊がある。使いこなせない画材集めと、激安機材での星空写真撮影が趣味。

小川, 秀人

來間 啓伸

來間啓伸（くるま ひろのぶ）：株式会社日立製作所 シニア社員（1984年入社）。国立情報学研究所出向 特任教授（2007～2014年）。専門分野はソフトウェア工学、特に形式手法。博士（学術）。著書に『Bメソッドによる形式仕様記述』2007年・近代科学社刊、共著書に『Event-B リファインメント・モデリングに基づく形式手法』2015年・近代科学社刊がある。趣味は推理小説の乱読、山間の温泉めぐり、フライ・フィッシング（勉強中）。

来間, 啓伸

明神 智之

明神智之（みょうじん ともゆき）：株式会社日立製作所 主任研究員（2006年入社）。専門分野は組込みシステム、ソフトウェア工学。趣味は旅先で出会った猫の写真撮影。

明神, 智之