GPUを使いこなせ！ NVIDIAによるハンズオン

2019年10月に開催された TensorFlow World 2019 の NVIDIA 提供のハンズオンセッション Accelerate Training, Inference, and ML Applications on GPUsがすばらしかったので、NVIDIAさんにお願いして日本でもハンズオンを開催していただくことになりました！ また、AWSさんのご厚意で、ハンズオン用のGPUインスタンスを無償提供していただきました！

TensorFlowの基本的な使い方がわかっている方向けの中級レベルのイベントとなりますが、その分濃い内容になると思います。BrainPadさんから軽食とドリンクも提供していただきますので、是非ご参加ください！

イベント概要

NVIDIAの方を講師としてお迎えし、如何にGPUを使いこなして高速化するか、という点にフォーカスを当てた以下の5つの技術についての解説とハンズオントレーニングを行います。

1. Automatic Mixed Precision Training
2. DALI: Fast Data Pipelines for Deep Learning
3. Distributed Training with Horovod (デモのみ)
4. Accelerating Inference using TensorRT
5. NVIDIA Deep Learning Profiler

対象者

TensorFlow を普段から使っており、GPUの効率的な利用に興味のお有りの方

注意事項

1. 資料は英語となりますのでご了承ください。
2. 各自PCを持参していただきます。また、事前に SSH及びブラウザ（Chromeを推奨）が使えるようにしておいてください。

タイムテーブル

取り上げる技術について

TensorFlow World 2019 参加レポート より抜粋します

Automatic Mixed Precision Training

精度を落とさずに、FP32からFP16への変換などを自動でやってくれる超絶便利な機能です。比較的新しめの GPU が必要なので環境は限られてしまいますが、コードへの変更も最小限で済むので、速度が求められるような状況であればとりあえず試してみるのが良いと思います。

DALI: Fast Data Pipelines for Deep Learning

DALI は、データの前処理や後処理をパイプラインとして記述して、可能な箇所については GPU を利用したりして高速化を図ってくれるものです。スライドをみた限りでは、現時点では劇的に速くなるというよりは、ちょっと速くなった、という程度のように見えました。今後に期待といったところでしょうか。[注1]

Distributed Training with Horovod

データ数が多いと、複数ノードにまたがった分散学習をさせたいことが結構あります。 Horovod は Uber が開発した分散学習フレームワークで、とても簡単に使うことができます。スーパーコンピューター上で分散学習を行うハッカソンの TA 役をやることが多いのですが、そこでも Horovod を使っています。 本セッションでは Horovod の単純な使い方だけでなく、チューニングの方法にも触れていたので勉強になりました。ちなみに Horovod は TensorFlow に限らず PyTorch など他のライブラリでも使えます。

Accelerating Inference using TensorRT

TensorRT は訓練済のモデルを最適化するライブラリです。 TensorRT を用いると、グラフの最適化や量子化などのテクニックを使って、モデルの軽量化や推論の高速化を実現できます。ハンズオンでは Kerasモデルを Saved Model に変換した後で TensorRT を使って変換しました。 使い勝手は TensorFlow Lite に非常に似ており、使いやすいものでした。

NVIDIA Deep Learning Profiler

業務で深層学習を使っていると、時々プロファイラをとってボトルネックを調べたいことがあると思います。NVIDIA Deep Learning Profiler(DLProf)は NVIDIA が開発したプロファイラで、 TensorBoard を使って可視化します。

当日の受付について

• 受付が 18:00 に close となりますので、可能な限り 18:00 までに受付におこしください
• 18:00 を過ぎると、受付の変わりに運営が誘導する形となります。 slackの #gpu_handson チャンネルでご連絡ください。

協力

• エヌビディア合同会社 (講師提供)
• アマゾン ウェブ サービス 株式会社 (環境および会場提供)
• 株式会社ブレインパッド (軽食およびドリンク提供)

個人情報の取り扱いについて

会場の参加者登録のために、メールアドレスをAWS様に提供します。 参加申し込み前に、以下の個人情報の取り扱い方針をご確認ください。

アマゾン ウェブ サービス　ジャパン株式会社

収集した個人情報は、電話、電子メール、郵送等による弊社サービスやキャンペーン情報などの営業のご案内、各種アンケートのお願いなどのために使用する目的で収集するものです。今回ご記入いただきましたお客様の個人情報については、上記の利用目的を達成するために、必要な範囲で業務委託先に提供する場合がございます。その場合、個人情報の保護が十分に図られている企業を選択し、個人情報保護の契約を締結するなど適切な処置を実施致します。お客様が、お客様個人情報の開示等をご希望される場合には、下記の当社窓口までご連絡いただければ合理的な範囲で速やかに対応致します。なお、当社の関連会社（直接的もしくは間接的に支配するか、これにより支配されるか、又はこれと共同して支配されているあらゆる事業体）に対して上記のお客様の個人情報が交付され、当該関連会社と共に利用されることが予定されています。(https://aws.amazon.com/jp/event_agreement/online/ )

お問合せ窓口 ：アマゾン ウェブ サービス ジャパン株式会社 マーケティング本部（aws-jp-mktg@amazon.com）

TFUG について

TensorFlow User Group (TFUG) は有志による TensorFlow のコミュニティです。

TensorFlow を使っている人、他のフレームワークを使っているけれど TensorFlow にも興味がある人、現在 TensorFlow を使っていないけれど興味がある人など、所属や肩書は問わず、様々なバックグラウンドを持つ人に参加して頂けると嬉しいです。

• ウェブサイト: http://tfug.jp
• slack: tfug.slack.com
• Facebook グループ: https://www.facebook.com/groups/178559235921208/

行動規範

TFUG は以下の行動規範に従います。

https://tfug.jp/policy.html