ーPythonでゼロからはじめるー AI・機械学習のためのデータ前処理［入門編］

発売日 : 2021/06/16

著者／編集 : 北 研二/西村 良太

出版社 : 科学情報出版

発行形態 : 単行本

ページ数 : 154p

2010年ごろを境に、ビッグデータという言葉が、わたしたちの身の回りに急速に浸透し始めた。同時に、ビッグデータから機械学習に基づき知的なAI システムを構築することが昨今のブームとさえなってきている。本書は、これらの機械学習システムを構築するうえで避けては通れない、データの前処理の部分を中心に解説している。AI などの機械学習システムを第一に想定しているが、本書で説明する各種の技術は、ビッグデータから有用な知識を獲得するデータマイニングやデータ分析などにも有効に用いることができる。
さて、ビッグデータという言葉は耳に心地よく、なんとなく宝の山のように感じるかもしれないが、実はビッグデータは玉石混交であり、宝とゴミが入り混じっている。さらには、データの規模が大きくなればなるほどゴミも増え、その中から宝を取り出すのがますます困難になってくる。コンピュータサイエンスの分野では、“Garbage In, Garbage Out” （略してGIGO） という警句がある。文字通り、「ゴミからはゴミしか得られない」 「ゴミを入れればゴミが出てくる」 ことを意味しているが、この警句はまさに機械学習の一面を言い当てている。よい機械学習システムを構築するためには、データからゴミを排除し、データを学習しやすい形に加工するという作業が重要となってくるが、これこそがまさしく前処理の真髄である。
最近は、TensorFlow やKeras をはじめとする数多くの機械学習用のフレームワークやライブラリが無償で利用可能であり、これらのフレームワークやライブラリを利用することで、一見、プログラミングの敷居は低くなってきているようにみえる。公開されている機械学習用のデータセットを利用して、誰もが簡単にAI システムを作ることができる。しかし、独自のデータセットを用いて、独自のシステムを構築する場合には、大きな問題が立ちはだかっている。よくいわれていることであるが、現実のデータは汚い。データをそのまま使えば、それこそ
“Garbage In, Garbage Out” の事態に陥る。現実のデータから、有用なAI システムを構築できるかどうかは前処理の成否にかかっているとさえいえる。また、一説によると、実際のAI や機械学習システム構築の現場では、エンジニアが作業に携わる時間の6 割～ 8 割はデータの収集と前処理に費やされているともいわれている。
本書では、従来の機械学習の書籍では十分に扱われていなかった前処理技術に焦点をあて、技術の単なる解説だけではなく、実際に動くプログラムを通して、読者が理解できるような実践的な書を目指した。本書には姉妹編として 『実践編』 も出版が計画されているが、『実践編』ではより高度な前処理技術と、テキスト・画像・音響・音楽等のメディアデータに対する前処理技術について解説した。本書『 入門編』 とあわせてご活用いただきたい。

１章　AI・機械学習における前処理
１．１　機械学習システムの構築
１．１．１　機械学習の例
１．１．２　機械学習システム構築の流れ
１．２　データの前処理
１．２．１　データの形式
１．２．２　データクリーニング
１．２．３　データ統合
１．２．４　スケーリング
１．２．５　特徴選択
１．２．６　次元削減
１．２．７　データ拡張

２章　Google Colabによる実行環境
２．１　Google Colabとは
２．１．１　Googleアカウントの取得
２．１．２　Google Colabへのアクセス方法
２．２　Google Colabの使い方
２．２．１　画面構成と各部の名称
２．２．２　初期設定
２．２．３　セルの操作
２．２．４　マークダウン
２．２．５　コマンド実行
２．２．６　仮想環境のスペック
２．２．７　フォーム
２．２．８　各種ライブラリの活用
２．２．９　代表的な行動のショートカットキー
２．２．10　コマンドパレット
２．３　ストレージ・データベースとの接続
２．３．１　ローカルファイルシステム
２．３．２　Google Drive
２．３．３　外部 （Web上） のデータ
２．３．４　Kaggle
２．４　GPUとTPUの利用
２．４．１　GPUとTPU
２．４．２　GPUの利用
２．４．３　TPUの利用
２．５　Google Colabのその他の設定
２．５．１　各種ライブラリのバージョン変更
２．５．２　新規ライブラリの追加
２．６　Pythonによるデータ処理
２．６．１　NumPy
２．６．２　pandas
２．６．３　scikit-learn
２．６．４　matplotlib
２．６．５　TensorFlow
２．６．６　Keras

３章　基本的な前処理技術
３．１　標準化と正規化
３．２　ビニング
３．３　外れ値
３．３．１　外れ値の検出と除去
３．３．２　四分位範囲を用いた外れ値に頑健な標準化
３．４　欠損値
３．４．１　欠損値の扱い
３．４．２　欠損値補完手法の比較
３．４．３　意味を持つ欠損値の扱い

４章　特徴選択と次元削減
４．１　特徴選択
４．１．１　フィルタ法
４．１．２　ラッパー法
４．１．３　正則化手法による特徴選択
４．２　次元削減
４．２．１　線形次元削減手法
４．２．２　非線形次元削減手法
４．２．３　そのほかの次元削減手法

北 研二

1981 年、早稲田大学理工学部数学科卒業。現在、徳島大学大学院社会産業理工学研究部・教授。 マルチメディア情報検索に関する研究に従事。博士（ 工学）

西村 良太

2010 年、豊橋技術科学大学大学院博士後期課程電子・情報工学専攻修了。現在、徳島大学大学院社会産業理工 学研究部・講師。 音声対話システムに関する研究に従事。博士（工学）

松本 和幸

2008 年、徳島大学大学院工学研究科博士後期課程修了。現在、徳島大学大学院社会産業理工学研究部・准教授。 感情計算、自然言語処理に関する研究に従事。博士（工学）