Understanding Deep Learning Models #7

2024/03/09(土)09:30 〜 12:30 開催

ブックマーク

Python, スクラム, Deep Learning

イベント内容

モチベーション

代表的なな深層学習モデルの、数式とコードを対応づけて理解を深めていく勉強会です。
アムステルダム大学の講義資料を参考に進めていきます。
日本語でディスカッションを行います。

資料URL

https://uvadlc-notebooks.readthedocs.io/en/latest/tutorial_notebooks/JAX/tutorial6/Transformers_and_MHAttention.html

https://uvadlc-notebooks.readthedocs.io/en/latest/tutorial_notebooks/JAX/tutorial7/GNN_overview.html

今回の範囲

Tutorial 6 (JAX): Transformers and Multi-Head Attention
Tutorial 7 (JAX): Graph Neural Networks

予定

DEEP LEARNING 1 (JAX+FLAX)
Tutorial 2 (JAX): Introduction to JAX+Flax 2023/9/9
Tutorial 3 (JAX): Activation Functions 2023/10/14
Tutorial 4 (JAX): Optimization and Initialization 2023/11/11
Tutorial 5 (JAX): Inception, ResNet and DenseNet 2023/12/9
Tutorial 6 (JAX): Transformers and Multi-Head Attention 2024/1/13 and 2024/2/10 and 2024/3/9
Tutorial 7 (JAX): Graph Neural Networks 2024/3/9 Tutorial 9 (JAX): Deep Autoencoders
Tutorial 11 (JAX): Normalizing Flows for image modeling
Tutorial 12 (JAX): Autoregressive Image Modeling
Tutorial 15 (JAX): Vision Transformers
Tutorial 17 (JAX): Self-Supervised Contrastive Learning with SimCLR

進め方

主催が疑問をなげかけたりしながらファシリテートする役割を担います。
参加者は議論に参加したり、質問したり、質問に答えたりするなど自由に応答します。
黙って聴くだけの参加の仕方もOKです。(最初の自己紹介と最後の感想のシェアはお願いしています。)
英語の文献をみますが、ディスカッションは日本語で行います。

09:30~12:30 本編ディスカッション