仕組みから理解するBERT・Transformer入門

コロナ対策については「参加者への情報」のご一読をよろしくお願いします。
緊急事態宣言が終了したので、状況次第で緩和を検討する場合があります。

DeepLearningの活用について考えるに際して、もはやデファクトとなりつつある
Transformer関連の研究ですが、処理の概要はわかっても解釈がうまくできない
という方も多いのではないかと思います。
というのも論文の記載はモジュールの処理概要が中心のため、2次的に出てくる
解説資料も処理の流れはつかめるけれどもそれ以上の理解が難しいものが多い
というのもあるのではないかという印象です。

そこで当セミナーではTransformerの基本的な仕組みの理解が直感的にできるように
GNN(Graph Neural Network)の視点から解説を行います。

3/11（土）
受付： 15:50〜16:00
講義： 16:00〜17:45
質疑応答 etc：17:45〜18:00

※ 15:50より前の入室は原則としてお断りします。

・基本トピック
- 系列モデリングの基本
- グラフニューラルネットワークの理解
-  RNN・LSTMとTransformer
- Transformerの仕組みの直感的理解
- なぜTransformerのパフォーマンスが良いのか

・発展トピック
- Inductive biasをどのように考えるか
- MLP-Mixer、gMLPなどの最新研究の解釈について
- BERT、ViT、TransGANなどの応用にあたっての関連研究

※ 理解度を確認しつつ進行するので、発展トピックは省略する場合があります。

※ 参考資料（下記や下記に関連する論文などを中心に解説を行います）
https://lib-arts.booth.pm/items/1834866
https://lib-arts.booth.pm/items/3162254
https://speakerdeck.com/liberalarts/transformer-and-graph-neural-network
https://speakerdeck.com/liberalarts/inductive-bias-and-graph-networks
https://www.amazon.co.jp/dp/B08JGM3JNP

水道橋駅、神保町駅、九段下駅周辺
千代田区西神田2-7-14 YS西神田ビル2F

・DeepLearningの基本的な仕組みは理解している方（CNNの基本的な仕組みがわかれば十分です）
・Transformer関連の研究の内容を基本から理解したい方
・今後のDeepLearning関連の研究の展望を俯瞰したい方

3,000円

※ 領収書発行の際は法人料金も兼ねまして追加1,000円のお支払いをよろしくお願いいたします。

5名（最大7名まで増枠します）