Understanding Deep Learning Models (UDLM) #2

モチベーション

代表的なな深層学習モデルの、数式とコードを対応づけて理解を深めていく勉強会です。
アムステルダム大学の講義資料を参考に進めていきます。
日本語でディスカッションを行います。

資料URL

https://uvadlc-notebooks.readthedocs.io/en/latest/tutorial_notebooks/JAX/tutorial2/Introduction_to_JAX.html

今回の範囲

Tutorial 3 (JAX): Activation Functions
Tutorial 4 (JAX): Optimization and Initialization

予定

DEEP LEARNING 1 (JAX+FLAX)
Tutorial 2 (JAX): Introduction to JAX+Flax 2023/9/9
Tutorial 3 (JAX): Activation Functions 2023/10/14 予定
Tutorial 4 (JAX): Optimization and Initialization 2023/10/14 予定
Tutorial 5 (JAX): Inception, ResNet and DenseNet
Tutorial 6 (JAX): Transformers and Multi-Head Attention
Tutorial 7 (JAX): Graph Neural Networks
Tutorial 9 (JAX): Deep Autoencoders
Tutorial 11 (JAX): Normalizing Flows for image modeling
Tutorial 12 (JAX): Autoregressive Image Modeling
Tutorial 15 (JAX): Vision Transformers
Tutorial 17 (JAX): Self-Supervised Contrastive Learning with SimCLR

進め方

主催が疑問をなげかけたりしながらファシリテートする役割を担います。
参加者は議論に参加したり、質問したり、質問に答えたりするなど自由に応答します。
黙って聴くだけの参加の仕方もOKです。(最初の自己紹介と最後の感想のシェアはお願いしています。)
英語の文献をみますが、ディスカッションは日本語で行います。

09:30~12:30 本編ディスカッション 12:40~13:00 交流タイム(雑談会) 任意参加

準備

こちらのZoomというオンラインミーティングのアプリを利用します。
開始前までにインストールしてください。
https://zoom.us/jp-jp/meetings.html
申し込み者のみ閲覧可能なcompass 上の情報ページに勉強会に参加可能なURLが記載されています。

休憩

休憩を途中挟みます。

前提知識

Pythonの基礎知識
微分積分、線形代数、確率モデル、統計的機械学習および深層学習の基礎知識

Math & Codingとは

機械学習の実務者・研究者が、互いに学び研鑽するようなコミュニティとなることを目指します。

◆groupページ
https://www.facebook.com/groups/284004485439214/

◆過去のイベント スクラムサインのコミュニティーページ
https://scrumsign.com/community/