【第27回AIセミナー】「ABCIグランドチャレンジ2018（第1回）成果報告会」

2018/10/18(木)15:00 〜 17:00 開催

ブックマーク

人工知能

イベント内容

【第27回AIセミナー】「ABCIグランドチャレンジ2018（第1回）成果報告会」

産業技術総合研究所人工知能研究センターでは、人工知能研究に関する情報交換を目的として、原則として月に一度、外部の方やセンター内研究者を講師とする人工知能セミナーを開催しています。

2018年10月は世界最大規模の人工知能処理向け計算インフラストラクチャ、AI橋渡しクラウド（ABCI）の運用開始に先立って実施されたABCIグランドチャレンジ2018（第1回）の成果発表を行います。

基本的にどなたでも無料でご参加いただけますが、事前申込が必要です。人工知能に興味のある方は奮ってご参加ください。多くの方々にご参加いただき活発な議論が行われることを期待しています。

要旨

AI橋渡しクラウド（AI Bridging Cloud Infrastructure、ABCI) は、国立研究開発法人産業技術総合研究所が構築・運用する、世界最大規模の人工知能処理向け計算インフラストラクチャであり、本年8月に運用を開始しました。ABCIの狙いは、550ペタフロップス（半精度）という膨大なAI処理能力を研究者や開発者に提供することにより、我が国のAI／ビッグデータ処理の進歩を加速することです。産総研では、ABCIを用いて莫大な演算能力によりはじめて可能になる人工知能分野の最重要課題への挑戦を支援するため、「ABCIグランドチャレンジ」プログラムを実施しています。本プログラムは、ABCIがもつ最大計算ノード数である1,088ノード（4,352GPU）を最大24時間、無償で、1チームでの占有利用ができる公募型チャレンジプログラムです。本セミナーでは、ABCI及び7月に実施した第1回グランドチャレンジの概要を紹介するとともに、今回ImageNet/ResNet-50の大規模分散学習にチャレンジされた3チームから講師をお招きして、実施内容や今後の取り組みについてご紹介いただきます。

基本情報

名称：【第27回AIセミナー】「ABCIグランドチャレンジ2018（第1回）成果報告会」
日時：2018年10月18日（木）15:00 - 17:00
受付時間：14:20-17:00　※ 受付時間外に来られた場合には対応できないことがございます。
場所：〒135-0064 東京都江東区青海二丁目5番10号テレコムセンタービル東棟14階
Asia startup office MONO
URL：https://mono.jpn.com/telecom-center-access/
定員：200名
参加費用：無料
主催：産業技術総合研究所人工知能研究センター
連絡先：人工知能セミナー窓口
本セミナーは、国立研究開発法人新エネルギー産業技術総合開発機構（NEDO）による委託事業「次世代人工知能・ロボット中核技術開発（次世代人工知能分野）」による活動となります。

注意事項

他の方に参加の機会をお譲りするためにも、参加ができないと分かった場合は早めのキャンセルをお願いします。
産総研は、お送りいただいた情報をセミナー運営以外の目的には使用しません。
懇親会の予定はありません。

プログラム

15:00-15:30	「ABCI及びABCIグランドチャレンジ2018概要」小川宏高（産総研人工知能研究センター／実社会ビッグデータ活用オープンイノベーションラボラトリ研究チーム長／副ラボ長）概要：国立研究開発法人産業技術総合研究所は、2018年8月よりAI橋渡しクラウド（ABCI）の運用を開始した。ABCIは、半精度で550PFLOPS、倍精度で37.2PFLOPSの理論性能、2018年6月時点で19.9PFLOPSでTOP500 Listの世界5位（国内最高）、12.054GFLOPS/WでGreen500 Listの世界8位と、世界トップクラスの実効性能と省電力性能を有する、わが国の人工知能技術開発のためのオープンで先進的な高速計算基盤である。ABCIの目的は、産学官連携や多様な事業者による利用を促進し、高い計算能力を活用した人工知能技術の研究開発・実証を加速するとともに、人工知能分野の最重要課題に挑戦することである。本発表では、ABCIの概要と、運用開始に先立って実施したABCIグランドチャレンジ2018（第1回）の実施概要を報告する。略歴： 1998年東京大学大学院工学系研究科博士課程中退 1998-2003年東京工業大学大学院情報理工学研究科助手 2003-現在産業技術総合研究所人工知能研究センター人工知能クラウド研究チーム長、実社会ビッグデータ活用オープンイノベーションラボラトリ副ラボ長を兼務。博士（理学）。
15:30-16:00	「K-FAC法を用いたImageNetの大規模並列学習」横田理央　（東京工業大学　学術国際情報センター准教授）概要： ImageNetを用いてstate-of-the-artの精度まで何分で学習できるかが、近年の分散並列深層学習の共通の目標となりつつある。深層学習の分散並列処理においてはバッチサイズを大きくすればするほど高い並列化効率が得られるが、大きくしすぎると学習効率が低下する。本課題ではバッチサイズを大きくしても学効率が全く低下しない自然勾配法(NGD)をSGDの代わりに用いる点で現在の記録保持者と比べて優れている。また、本課題ではNGDを用いて１ステップあたりの計算時間をSGDと同程度に抑えることができるようにFisher行列のKronecker因子分解による近似法(K-FAC)を採用した。　略歴： 2009年慶應義塾大学大学院　理工学研究科　開放環境科学専攻　博士（工学）取得 2009年-2010年 University of Bristol, Post-doctoral Research Assistant 2010年-2011年 Boston University, Post-doctoral Research Associate 2011年-2015年 King Abdullah University of Science and Technology, Research Scientist 2015年-現在東京工業大学　学術国際情報センター　准教授
16:00-16:30	「大規模ミニバッチによる分散並列深層学習」山崎雅文（（株）富士通研究所　コンピュータシステム研究所シニアリサーチャー）概要： ABCIグランドチャレンジにおいて、4,000を超えるGPUを利用したデータ並列深層学習を実現。画像認識の一般的なニューラルネットワークResnet50を用い、ILSVRC2012データセットを用いたトレーニング処理90 エポックを、6.4分で実行した。しかし、通信処理の速度チューニング及び、大規模ミニバッチにおける予測精度の悪化に対する対策について、目標としていた値を達成することはできなかった。本チャレンジで遭遇した様々なトラブルと、大規模深層学習、とくに大規模ミニバッチにおける問題点を整理し、報告する。　略歴： 1996年横浜国立大学大学院工学研究院科生産工学専攻を修了。同年、富士通（株）に入社し、半導体事業部にて、カスタムメモリ、ダイナミックリコンフィギャラブルプロセッサ等の開発に携わる。2010年からは、全国規模の大規模分散システム開発、運用に従事し、その後（株）富士通研究所へ異動。現在は、コンピュータシステム研究所先端コンピュータシステムプロジェクトにて、主にディープラーニング等のアプリケーションの大規模な分散並列化の研究を行っている。
16:30-17:00	「ABCI を活用した大規模分散DNN学習の研究開発」影山雄一 (ソニー株式会社 R&Dセンターシステム技術開発部門コアシステム開発部　統括課長) 概要：大規模GPUを利用した分散DNN学習では、バッチサイズが巨大になるため学習が収束しないことが知られている。本手法では、LARS や learning rate warm upなどのテクニックをベースに、Loss の傾きに応じてバッチサイズを増加させ、学習初期の Loss の発散を防いだ。更に、ソニーが開発した Neural Network Libraries (NNabla) および ABCI の最大4352GPUを用いて、ImageNet/ResNet-50 に対して本手法を適用し、約10分で学習を完了させることに成功した。略歴： 1999年ソニー株式会社に入社。以来、i.LINK(IEEE1394) や DLNA などホームネットワーク開発に従事し、ソニーの全カテゴリCE商品への導入に貢献。2016年より分散DNN学習の研究開発に取り組んでいる。