Understanding Deep Learning Models

モチベーション

代表的なな深層学習モデルの、数式とコードを対応づけて理解を深めていく勉強会です。
アムステルダム大学の講義資料を参考に進めていきます。
日本語でディスカッションを行います。

資料URL

https://uvadlc-notebooks.readthedocs.io/en/latest/index.html

今回の範囲

Tutorial 全体振り返り
PDHG( Primal-Dual Hybrid Gradient Algorithm) 論文紹介(最適化) 藤本 大輔（株式会社スクラムサイン インターン） https://odlgroup.github.io/odl/math/solvers/nonsmooth/pdhg.html

予定

DEEP LEARNING 1 (JAX+FLAX)
Tutorial 2 (JAX): Introduction to JAX+Flax 2023/9/9
Tutorial 3 (JAX): Activation Functions 2023/10/14
Tutorial 4 (JAX): Optimization and Initialization 2023/11/11
Tutorial 5 (JAX): Inception, ResNet and DenseNet 2023/12/9
Tutorial 6 (JAX): Transformers and Multi-Head Attention 2024/1/13 and 2024/2/10 and 2024/3/9
Tutorial 7 (JAX): Graph Neural Networks 2024/4/13 2024/3/9
Tutorial 9 (JAX): Deep Autoencoders 2024/4/13
Tutorial 11 (JAX): Normalizing Flows for image modeling 2024/5/11 2024/6/8
Tutorial 12 (JAX): Autoregressive Image Modeling 2024/7/13
Tutorial 15 (JAX): Vision Transformers 2024/8/10 2024/09 Tutorial 17 (JAX): Self-Supervised Contrastive Learning with SimCLR 2024/10

進め方

主催が疑問をなげかけたりしながらファシリテートする役割を担います。
参加者は議論に参加したり、質問したり、質問に答えたりするなど自由に応答します。
黙って聴くだけの参加の仕方もOKです。(最初の自己紹介と最後の感想のシェアはお願いしています。)
英語の文献をみますが、ディスカッションは日本語で行います。

準備

こちらのZoomというオンラインミーティングのアプリを利用します。
開始前までにインストールしてください。
https://zoom.us/jp-jp/meetings.html
申し込み者のみ閲覧可能なcompass 上の情報ページに勉強会に参加可能なURLが記載されています。

休憩

休憩を途中挟みます。

前提知識

Pythonの基礎知識
微分積分、線形代数、確率モデル、統計的機械学習および深層学習の基礎知識

Math & Codingとは

機械学習の実務者・研究者が、互いに学び研鑽するようなコミュニティとなることを目指します。

◆groupページ
https://www.facebook.com/groups/284004485439214/

◆過去のイベント スクラムサインのコミュニティーページ
https://scrumsign.com/community/