第11回全脳アーキテクチャ勉強会〜Deep Learningの中身に迫る〜

2015/08/26(水)18:00 〜 21:00 開催

ブックマーク

#機械学習, #Hadoop

イベント内容

第11回全脳アーキテクチャ勉強会

全脳アーキテクチャ勉強会における中心的なテーマであるDeep Learningについては，CaffeやChainerを始め開発環境が充実しつつありますが，全脳アーキテクチャのための新しいアーキテクチャを創出するためには，ゼロから多層複雑ネットワーク等を構築することも多いの想定されます．
そのためにも，Deep Learningの中身，例えば，中間層で起きていることや，なぜ，学習できるのか等を深く理解しておくことが重要です．そこで，今回の勉強会では，物理学や力学的解析の視点からのDeep Learningの中身に迫る講演2件と，世界初の商用レベルでサポートされたオープンソースディープラーニングフレームワークであるDeeplearnig4jを開発されたSkymind社CTOのAdam Gibson氏の講演を企画しました．

勉強会開催詳細

日　時：2015年8月26日(水) 18:00～21:00 (開場: 17:30～)
場　所：リクルートGINZA8ビル(G8) 11階大ホール
- (リクルート様のご厚意により会場提供していただきました)
- http://www.recruit.jp/company/about/office.html
定　員：200名（定員に達し次第締め切らせて頂きます）
参加費：無料
申込方法：本イベントに参加登録のうえ，当日会場受付にてお名前またはチケットをご提示下さい。
主　催：全脳アーキテクチャ・イニシアティブ

レポーターを募集しています

ドワンゴ人工知能研究所所長山川宏氏と共著にて本勉強会の報告書作成にご協力いただくレポーターを募集しております。報告書の分量は4000~7000字程度とし，ドワンゴ人工知能研究所のテクニカル・レポートとして発行する予定です。

満席の場合でも勉強会の協力参加者として出席できますので、ご協力をいただける方は本ページのお問い合わせよりご連絡ください。

ネット配信について

本勉強会は、ニコニコ生放送にて各講演者の講演と全体討論を配信予定です。ニコニコ生放送にてご覧頂けます。

講演スケジュール

18:00 - 18:10「オープニング」(電気通信大学／ドワンゴ人工知能研究所栗原聡氏)

18:10 - 19:00「深層学習の学習過程における相転移」(京都大学大学院情報学研究科大関真之氏)

深層学習で何が行われているのか理論的に理解する．しかし複雑なアーキテクチャを持つものであるためそれは非常に困難な道のりとは誰もが感じていることでしょう．本講演では、数理的なアプローチでその理解をしようとする取り組みについて講演します．そもそも論として、高次元の構造のあるデータを学習するときに教師なし学習と教師有り学習を素朴に行うとしたときに何が起こるのか．これを数理的な”おもちゃ"を使って調べてみます．高次元の極限を調べるために、原子分子などの非常に細かいものが集まった大きな数の世界を扱う手法に長けた理論を持つ物理学の手法を用いました．結果わかったことは、まず教師なし学習の量が多くなると、識別器の潜在的な能力が引き上げられることがわかります．しかし残念ながらその潜在的な能力を引き出すためには、生半可には超えられない壁があることがわかります．一方、教師有り学習の量を増やすと、その障壁が弱まること、あるところを境目にして高性能な識別器へと急激に変化することがわかりました．物理学の言葉では一次転移と呼ばれる現象に相当します．このようにまだまだ些細な進展ではありますが、ちょっと面白い発見について紹介させていただければと思います．

19:00 - 19:10 休憩

19:10 - 19:40「Deep Neural Networksの力学的解析」(東京大学総合文化研究科本武陽一氏)

近年の人工知能ブームのきっかけとなった技術的ブレークスルーであるDeep Learning技術ですが、その高いパフォーマンスが獲得される原因が、未だ明確ではありません。その原因は、Deep Neural Networksが非線形識別機であり、対象とするデータが高次元である為です。そこで私の研究では、そのような対象の解析に長じた、力学的解析手法によって、Deep Neural Networksの中で生じている現象を調べ、問題にアプローチしています。具体的には、Deep Neural Networksの各層を時刻ととらえ、その時間発展ダイナミクスの解析を通して、情報の圧縮や拡大等を議論しています。この解析の結果、「多様体仮説」と呼ばれる、実世界に存在する高次元データが、実はクラス（犬や猫といったラベルに対応）毎にそれぞれ別の低次元部分多様体上に分布しているという仮説が正しいようであることと、パフォーマンスの高い教師ありDeep Neural Networksが、それをうまく活用していることが分かってきました。講演では、Alexnet等の実践的なネットワークの解析結果を通して、上記のことを説明します。

19:40 - 19:50 休憩

19:50 - 20:30「SkymindのDeep Learningへの取り組み」(Skymind社CTO Adam Gibson氏)

Gibsonによる，世界初の商用レベルでサポートされたオープンソースディープラーニングフレームワークであるDeeplearnig4jや，科学計算用のND4Jなど，Java仮想マシン向けのオープンソースライブラリについて解説する．

Adam Gibson 氏プロフィール：

Deeplenarnig OSSを提供するSkymind社を2014年にCTOとして起業。サンフランシスコのGalvanizeUにてデータサイエンティストマスタープログラムのアドバイザも務める。2015年秋に “Deep Learning: A Practitioner’s Approach”をO’reillyから刊行。

著書: O’Reilly’s Deep Learning: A Practitioner’s Approach (2015)
アドバイザー: Zipfian, GalvanizeU のDeep Learning, データサイエンティストコース
登壇実績: Hadoop Summit, OSCon, Tech Planet, GigaOM
起業実績: 4x startup founder
Deeplearning4j · GitHub
Deeplearning4j - Open-source, distributed deep learning for the JVM
Skymind - Deep learning for Industry on Hadoop and Spark

20:30 - 21:00 全体討論

日米のDeep learningの方法論や最新の動向について，Adam Gibson氏とドワンゴAIラボ所長山川氏との対談を中心とした全体討論を行います。

21:00 - 23:00 懇親会(自由参加)

会場近辺のお店で、有志による懇親会を行います。

全脳アーキテクチャ勉強会オーガナイザー

◎産業技術総合研究所人工知能研究センター脳型人工知能研究チーム一杉裕志

1990年東京工業大学大学院情報科学専攻修士課程修了。1993年東京大学大学院情報科学専攻博士課程修了。博士(理学)。同年電子技術総合研究所(2001年より産業技術総合研究所)入所。プログラミング言語、ソフトウエア工学の研究に従事。2005年より計算論的神経科学の研究に従事。

「全脳アーキテクチャ解明に向けて」

◎株式会社ドワンゴ人工知能研究所所長山川宏

1987年3月東京理科大学理学部卒業。1992年東京大学で神経回路による強化学習モデル研究で工学博士取得。同年（株）富士通研究所入社後、概念学習、認知アーキテクチャ、教育ゲーム、将棋プロジェクト等の研究に従事。フレーム問題（人工知能分野では最大の基本問題）を脳の計算機能を参考とした機械学習により解決することを目指している。

http://hymkw.com/ja/

◎東京大学准教授松尾豊

東京大学で、ウェブと人工知能、ビジネスモデルの研究を行っています。ウェブの意味的な処理を人工知能を使って高度化すること、人工知能のブレークスルーをウェブデータを通じて検証することを目指しています。

http://ymatsuo.com/japanese/

全脳アーキテクチャ実現に関する参考資料

第10回全脳アーキテクチャ勉強会「全脳アーキテクチャのいま」〜全脳アーキテクチャプロジェクトとそれをとりまく周辺の最新状況報告〜

全脳アーキテクチャの全体像
人工知能の難問と表現学習
全脳アーキテクチャと大脳皮質モデル BESOM の実用化研究の構想
全脳アーキテクチャを支えるプラットフォーム
人工知能・ロボット次世代技術開発
汎用人工知能に向けた認知アーキテクチャが解決するべき知識の課題
感情モデルと対人サービス
若手の会の活動報告
勉強会概要と発表資料

第9回全脳アーキテクチャ勉強会〜実世界に接地する言語と記号〜

脳内視覚情報処理における物体表現の理解を目指して〜Deep neural networkの利用とブレイン・マシン・インタフェースへの応用〜
記号創発ロボティクス〜内部視点から見る記号系組織化への構成論的アプローチ〜
脳科学から見た言語の計算原理
勉強会概要と発表資料

第8回全脳アーキテクチャ勉強会時系列データ〜脳と機械学習技術は時間をどう扱うのか〜

脳における時間順序判断の確率論的最適化
順序とタイミングの神経回路モデル
深層学習によるロボットの感覚運動ダイナミクスの学習
勉強会概要と発表資料

第7回全脳アーキテクチャ勉強会感情〜我々の行動を支配する価値の理解にむけて〜

感情の進化〜サルとイヌに見られる感情機能〜
情動の神経基盤～負情動という生物にとっての価値はどのように作られるか？〜
感情の工学モデルについて～音声感情認識及び情動の脳生理信号分析システムに関する研究〜
勉強会概要と発表資料

第6回全脳アーキテクチャ勉強会統合アーキテクチャー　〜神経科学分野とAI分野の研究蓄積の活用に向けて〜

分散と集中：全脳ネットワーク分析が示唆する統合アーキテクチャ
脳の計算アーキテクチャ：汎用性を可能にする全体構造
認知機能実現のための認知アーキテクチャ
勉強会概要と発表資料

第5回全脳アーキテクチャ勉強会〜意思決定　深いゴール探索と深い強化学習の技術をヒントにして、前頭前野の機構の解明を目指す〜

Deep Learning とベイジアンネットと強化学習を組み合わせた機構による、前頭前野周辺の計算論的モデルの構想
BDI ―モデル、アーキテクチャ、論理―
強化学習から見た意思決定の階層
勉強会概要と発表資料

第4回全脳アーキテクチャ勉強会〜機械学習と神経科学の融合の先に目指す超知能〜

全脳アーキテクチャ主旨説明
AIの未解決問題とDeep Learning
脳の主要な器官の機能とモデル
脳をガイドとして超脳知能に至る最速の道筋を探る
自然な知覚を支える脳情報表現の定量理解
脳型コンピュータの可能性
勉強会概要と発表資料

第3回全脳アーキテクチャ勉強会　〜海馬：脳の自己位置推定と地図作成のアルゴリズム〜

「SLAMの現状と鼠の海馬を模倣したRatSLAM」
「海馬神経回路の機能ダイナミクス」
「人工知能(AI)観点から想定する海馬回路の機能仮説」
勉強会概要と発表資料

第2回全脳アーキテクチャ勉強会　〜大脳皮質と Deep Learning〜

「大脳皮質と Deep Learning」
「視覚皮質の計算論的モデル ? 形状知覚における図地分離と階層性」
「Deep Learning技術の今」
WBAの実現に向けて：大脳新皮質モデルの視点から
勉強会概要と発表資料

第1回全脳アーキテクチャ勉強会　〜機械学習と神経科学の融合の先に目指す超知能〜

勉強会開催の主旨説明
AIの未解決問題とDeep Learning
脳の主要な器官の機能とモデル
脳を参考として人レベルAIを目指す最速の道筋
勉強会概要と発表資料

その他関連情報

全脳アーキテクチャ勉強会Facebookグループ(現在2,100名以上が参加中!)
全脳アーキテクチャ勉強会公式Twitterアカウント

全脳アーキテクチャ勉強会の開始背景(2013年12月)

人間の脳全体構造における知的情報処理をカバーできる全脳型ＡＩアーキテクチャを工学的に実現できれば、人間レベル、さらにそれ以上の人工知能が実現可能になります。これは人類社会に対して、莫大な富と利益をもたらすことが予見されます。例えば、検索や広告、自動翻訳や対話技術、自動運転やロボット、そして金融や経済、政治や社会など、幅広い分野に大きな影響を与えるでしょう。

私達は、この目的のためには、神経科学や認知科学等の知見を参考としながら、機能的に分化した脳の各器官をできるだけ単純な機械学習器として解釈し、それら機械学習器を統合したアーキテクチャを構築することが近道であると考えています。

従来において、こうした試みは容易ではないと考えられてきましたが、状況は変わりつつあります。すでに、神経科学分野での知見の蓄積と、計算機速度の向上を背景に、様々な粒度により脳全体の情報処理を再現／理解しようとする動きが欧米を中心に本格化しています。またDeep Learning などの機械学習技術のブレークスルー、大脳皮質ベイジアンネット仮説などの計算論的神経科学の進展、クラウドなどの計算機環境が充実してきています。

こうした背景を踏まえるならば、全脳型ＡＩアーキテクチャの開発は世界的に早々に激化してくる可能性さえあります。そこで私達は、２０２０年台前半までに最速で本技術を実現できるロードマップを意識しながら、この研究の裾野を広げていく必要があると考えています。そしてこのためには、情報処理技術だけでなく、ある程度のレベルにおいて神経科学等の関連分野の知見を幅広く理解しながら、情熱をもってこの研究に挑む多くの研究者やエンジニアの参入が必要と考えています。