2020/12/08(火)20:00 〜 21:00

【オンライン開催！】『生成Deep Learning』読書会#4

オンライン

イベント内容

次回は、第4章の内容を中心に見ていきます。（事前に読んでご参加いただいた方がより理解が深まりますので、ぜひご準備ください。）

開催趣旨

本勉強会では、生成型ディープラーニングの理解を高めていくことを目的とし、毎週1回、下記の本を一章ずつ取り上げていく予定です。事前に予習し、コードを一通り動かしてから参加されることをオススメします。オンライン勉強会では約1時間で、参加者同士の質問・意見交換やディスカッションをメインに進めていく予定です。

『生成 Deep Learning――絵を描き、物語や音楽を作り、ゲームをプレイする』（David Foster　著、松田晃一、小沼千絵　訳, O`REILLY社, 2020年10月発行）

※ 書籍はご自身で入手のうえ、ご参加ください。

参加対象者

TensorFlowやKerasを使ったGANの実装力を高め、業務や研究に活用した社会人・学生・研究者の方
Pythonの基礎的な文法やJupter Notebook、Google Colaboratoryの基本的な使い方を習得されている方
オンラインで参加可能な方

参加方法

お申込みいただいた方に、事前にzoomの招待リンクを送付させていただく予定です。

勉強会の進め方

その日に取り扱う章を前もって各自ご自身で読み進めておいてください。
勉強会では、皆で書籍の内容を確認しながら、必要に応じてGoogle Colaboratory等で実際にコードを動かしていきます。
ポイントごとに立ち止まってzoom、Slack等で疑問点をぶつけ合い、意見交換し、理解を深めていければと思います。

※ 一人が資料準備してきて一方的にレクチャーする形式ではなく、参加者同士インタラクティブにディスカッションしながら進めていきます。

書籍の内容紹介

（参照：https://www.oreilly.co.jp/books/9784873119205/）

以下、上記URLの内容紹介から抜粋

「『生成 Deep Learning――絵を描き、物語や音楽を作り、ゲームをプレイする』

生成型ディープラーニングの解説書。「絵を描く」「曲を作る」といった、これまで人間にしかできないと思われていた創造的な作業を機械に行わせるという、いま最もホットな技術の基礎から応用までをJupyterノートブック環境で実際に試しながら学びます。第I部は基礎編です。機械学習プログラミング、変分オートエンコーダ、GANやRNNなど、生成モデルの作成において重要な基礎技術を学びます。第II部は応用編です。CycleGAN、エンコーダ―デコーダモデル、MuseGANなどのモデルを作成し、作画、作文、作曲といった創造的なタスクに取り組みます。さらには、実環境を用いずにゲームプレイの学習を可能にする、世界モデルを使った強化学習にも取り組みます。

賞賛の声
訳者まえがき
まえがき

第I部　生成型ディープラーニング入門

1章　生成モデリング
1.1　生成モデリングとは何か？
1.1.1　生成モデリングと識別モデリング
1.1.2　機械学習の進歩
1.1.3　生成モデリングの隆盛
1.1.4　生成モデリングの枠組み
1.2　確率生成モデル
1.2.1　Hello Wrodl!
1.2.2　最初の確率生成モデル
1.2.3　単純ベイズ（Naive Bayes）
1.2.4　Hello Wrodl!の続き
1.3　生成モデルの課題
1.3.1　表現学習
1.4　環境のセットアップ
1.5　まとめ

2章　ディープラーニング
2.1　構造化されたデータと構造化されていないデータ
2.2　ディープニューラルネットワーク
2.2.1　KerasとTensorFlow
2.3　最初のディープニューラルネットワーク
2.3.1　データを読み込む
2.3.2　モデルを作成する
2.3.3　モデルをコンパイルする
2.3.4　モデルを訓練する
2.3.5　モデルを評価する
2.4　モデルを改善する
2.4.1　畳み込み層
2.4.2　バッチの正規化
2.4.3　ドロップアウト層
2.4.4　すべてをまとめる
2.5　まとめ

3章　変分オートエンコーダ
3.1　展覧会
3.2　オートエンコーダ
3.2.1　最初のオートエンコーダ
3.2.2　エンコーダ
3.2.3　デコーダ
3.2.4　エンコーダとデコーダを連結する
3.2.5　オートエンコーダの解析
3.3　変分展覧会
3.4　変分オートエンコーダの作成
3.4.1　エンコーダ
3.4.2　損失関数
3.4.3　変分オートエンコーダの解析
3.5　VAEを使った顔生成
3.5.1　VAEの訓練
3.5.2　VAEの解析
3.5.3　新しい顔の生成
3.5.4　潜在空間内での計算
3.5.5　顔のモーフィング
3.6　まとめ

4章　敵対的生成ネットワーク
4.1　ガニマル
4.2　GAN入門
4.3　初めてのGAN
4.3.1　識別器
4.3.2　生成器
4.3.3　GANを訓練する
4.4　GANの課題
4.4.1　損失の振動
4.4.2　モード崩壊
4.4.3　意味がない損失
4.4.4　ハイパーパラメータ
4.4.5　GANの課題に取り組む
4.5　Wasserstein GAN
4.5.1　Wasserstein損失
4.5.2　Lipschitz制約
4.5.3　重みをクリッピングする
4.5.4　WGANを訓練する
4.5.5　WGANの分析
4.6　WGAN-GP
4.6.1　勾配ペナルティ損失
4.6.2　WGAN-GPの分析
4.7　まとめ

第II部　コンピュータに作画、作文、作曲、ゲームプレイを教える

5章　描く
5.1　リンゴとオレンジ
5.2　CycleGAN
5.3　初めてのCycleGAN
5.3.1　概要
5.3.2　生成器（U-Net）
5.3.3　識別器
5.3.4　CycleGANをコンパイルする
5.3.5　CycleGANを訓練する
5.3.6　CycleGANを解析する
5.4　モネのような絵を描くCycleGANを作る
5.4.1　生成器（ResNet）
5.4.2　CycleGANの解析
5.5　ニューラルスタイル変換
5.5.1　コンテンツ損失
5.5.2　スタイル損失
5.5.3　全変動損失
5.5.4　ニューラルスタイル変換を実行する
5.5.5　ニューラルスタイル変換モデルを解析する
5.6　まとめ

6章　書く
6.1　やっかいな悪党のための文芸クラブ
6.2　LSTMネットワーク
6.3　初めてのLSTMネットワーク
6.3.1　トークン化する
6.3.2　データセットを作成する
6.3.3　LSTMのアーキテクチャ
6.3.4　埋め込み層
6.3.5　LSTM層
6.3.6　LSTMセル
6.4　新しいテキストを生成する
6.5　RNNの拡張
6.5.1　多層再帰型ネットワーク
6.5.2　GRU
6.5.3　双方向セル
6.6　エンコーダ–デコーダモデル
6.7　質問回答生成器
6.7.1　質問と回答のデータセット
6.7.2　モデルのアーキテクチャ
6.7.3　推論
6.7.4　モデルの出力
6.8　まとめ

7章　作曲する
7.1　準備
7.1.1　音楽の表記
7.2　初めての音楽生成RNN
7.2.1　アテンション
7.2.2　Kerasでアテンション機構を作成する
7.2.3　アテンション機構付きRNNの解析
7.2.4　エンコーダ–デコーダネットワークのアテンション機構
7.2.5　ポリフォニックな音楽を生成する
7.3　MuseGAN
7.4　初めてのMuseGAN
7.5　MuseGAN生成器
7.5.1　和音、スタイル、旋律、グルーブ
7.5.2　小節生成器
7.5.3　すべてをまとめる
7.6　評価器
7.7　MuseGANの解析
7.8　まとめ

8章　プレイする
8.1　強化学習
8.1.1　OpenAI Gym
8.2　世界モデルのアーキテクチャ
8.2.1　変分オートエンコーダ
8.2.2　MDN-RNN
8.2.3　コントローラ
8.3　セットアップ
8.4　訓練プロセスの概観
8.5　ランダムなロールアウトデータを収集する
8.6　VAEを訓練する
8.6.1　VAEのアーキテクチャ
8.6.2　VAEを探索する
8.7　RNNを訓練するデータを収集する
8.8　MDN-RNNを訓練する
8.8.1　MDN-RNNアーキテクチャ
8.8.2　MDN-RNNから次のzと報酬をサンプリングする
8.8.3　MDN-RNNの損失関数
8.9　コントローラを訓練する
8.9.1　コントローラのアーキテクチャ
8.9.2　CMA-ES
8.9.3　CMA-ESを並列化する
8.9.4　コントローラの訓練からの出力
8.10　夢の中での訓練
8.10.1　夢の中でのコントローラの訓練
8.10.2　夢の中での訓練の課題
8.11　まとめ

9章　生成モデリングの未来
9.1　LSTMネットワーク
9.2　トランスフォーマ
9.2.1　位置エンコード処理
9.2.2　マルチヘッドアテンション
9.2.3　デコーダ
9.2.4　トランスフォーマの分析
9.2.5　BERT
9.2.6　GPT-2
9.2.7　MuseNet
9.3　画像生成での進展
9.3.1　ProGAN
9.3.2　SAGAN
9.3.3　BigGAN
9.3.4　StyleGAN
9.4　生成モデリングの応用
9.4.1　AIアート
9.4.2　AIミュージック