最先端ディープランニング活用事例大集合！ - Deep Learningオールスターズ2017 -

ニューラルネットワークのその次へ

2つ目の講演は、Rettyの氏原さんによる「ニューラルネットワークのその次へ」。

氏原淳志（うじはら・あつし）／Retty株式会社 エンジニア。1983年生まれ。高知県出身。京都大学薬学部卒。株式会社数理技研での勤務を経て、2015年にRettyへ入社。クラフトビール好き。

「ディープラーニング」と聞くと、「ニューラルネットワーク」が思い浮かぶ方が多いかもしれません。しかし、今回氏原さんが紹介するのは「Deep Forest」という手法。まずはその事前知識として「決定木」と「Random Forest」について氏原さんは解説します。

「決定木」とは「YES-NOチャート」のようなもの。あるデータセットがあった場合、そのデータセットをどんどんきれいに分割して、最終的に分類や判別を行う手法です。

「Random Forest」は、この「決定木」を複数つかった手法です。まず、トレーニング用のデータセットから、決定木の数だけサブセットをランダムに取り出し、それぞれの決定木で学習させます。そして推論のPhaseでは、すべての決定木に同じデータを投げて、その結果の平均を答えとするのが「Random Forest」の手法です。

本講演のメインテーマである「Deep Forest」とは、「Random Forest」や、分割さえもランダムな「Completely-Random Tree Forest」を複数・多層にして使う手法です。

その構成には、「Deep Forest」の入力層である「Multi-Grained Scanning」と「Deep Forest」の全結合層的なものである「Cascade Forest Structure」があります。

「Random Forest」は機械学習ライブラリ「scikit-learn」に実装が公開されています。氏原さんはそれを重ねて「Deep Forest」を作成し、「Retty」の口コミを分類する実験を実施しました。

そこから得られた「Character-level CNN」との性能差を比較した結果は次の通りです。

Character-level CNN：63.0%
Deep Forest：69.5%

上記より「Deep Forest」は少ないデータ量でも同等の精度が出せるとわかりました。ただし、データが大きくなると「Character-level CNN」の方が精度は高く、そもそも「Deep Forest」にはデータが多いとメモリが対応できないなどの課題があります。

それでも、「Deep Forest」には次の3点においてメリットがあると氏原さんは指摘します。

各決定木でそれぞれの学習コストが低コストで速い
GPU不要
各決定木がそれぞれ独立しているので、マルチホストで分散させて学習可能

これらを踏まえて、氏原さんは「Random Forest」が全てのデータを一気に学習する「バッチ学習」にしか対応できていないことがそもそもの問題だと捉え、それさえ解決できればミニバッチ処理で大量データをも扱えると考えました。

そこで、氏原さんが実験を始めたのが「Random Forest」をオンライン学習へ対応させた「Mondrian Forest」です。実際に「scikit-learn」のIrisデータ分類してみると、オンライン学習の「Mondrian Forest」でも「Ramdom Forest」と同じくらいの精度を達成することができました。

現在、氏原さんは「Mondrian Forest」に「Deep Forest」を使った「Deep Mondrian Forest」を開発しています。最後に今回の取り組みを振り返り、氏原さんは次のようにまとめました。

ディープラーニングはニューラルネットワークだけじゃない
「Deep Forest」は分散学環境に向いている
「Mondrian Forest」で「Deep Forest」を実装したらビッグデータを大量のマシンで並列処理する基盤が作れそう

当日の氏原さんのスライドはこちらに公開されています。

Deep Learningの世界に飛び込む前の命綱

休憩を挟んで、続いての講演はTISの嘉村さんです。

嘉村準弥（かむら・じゅんや）／TIS株式会社 戦略技術センター エンジニア。機械学習や自然言語処理についてリサーチ、システム開発の業務改革を目指すプロトタイピングを担当。ツーリング好き。

ディープラーニングの領域が盛り上がっている昨今ですが、「まず機械学習から学習していくほうが得策ではないか」と嘉村さんは説明します。

嘉村さんは機械学習とディープラーニングを性能比較するために、映画レビューデータの公開データセット「IMDB」を用いて、その文書が肯定的か否定的かを推定する極性判定を行いました。ここでの機械学習とはニューラルネットワークではなく、「Naive Bayes」による手法です。

実験ではまずは肯定、否定のデータを与え、文章や単語の出現率を学習、文章中に出てくる割合からカテゴリーを推定します。先行研究の論文によると、設定によっては正解率は86.59％を示しており、「Naive Bayes」とサポートベクターマシンを組み合わせると91%の正解率を出すことができています。

実装には「scikit-learn」を利用し、文章を2単語で区切る「Bag of Bigrams」方式を採用。その結果、正解率は87.9%と論文と同等の性能を示すことができました。

それではディープラーニングではどこまでの正解率を出せるのでしょうか。

今回は文章のような不定長な連続データについて、勾配消失・ハッサン問題を軽減して学習することが可能である「LSTM（Long short-term memory）」という手法を用いました。実装には「Keras」を使用。すると、予想に反して「LSTM」の正解率は80.8%と「Naive Bayes」には及ばない結果が。