BERT・XLNet・ALBERT・T5・Reformerの論文に学ぶ事前学習モデルの最新トレンド

内容概要

https://techplay.jp/event/763336
上記のセミナーの分量が多くなり過ぎて2時間で取り扱えなくなったので、二つに
分けて実施していきます。

前編は下記で実施しています。
https://techplay.jp/event/767464

後編ではBERT以後の研究として、XLNet、RoBERTa、ALBERT、T5、ERNIEなどの
GLUEベンチマークの更新の流れを追うと同時に、それぞれの研究における様々な
視点から汎用的な言語処理について見ていければと思います！
単なるベンチマークの更新というよりは、それぞれの研究において行われている工夫
の紹介を通して、言語処理の研究における知見を広げ、大局観が身につくような解説
としていければと考えています！！

※
時間の都合上、BERTの概要については基本的に既知として話を進めます。
事前知識に自信のない方は前編に参加するか、下記を元に予習の上ご参加いただけますと
嬉しいです。
https://note.com/lib_arts/n/n810568c557fd

開催日程

2/15（土）
受付： 15:50〜16:00
講義： 16:00〜18:00

※ 途中5分ほどの休憩を設ける予定です。
※ 15:45より前の入室は原則としてお断りします。

アジェンダ

1. 前提の整理、復習(20分)
　　Transformer[2017]
　　BERT[2018]
　　GLUEベンチマークやその他のデータセット

2. BERT以後の関連研究の紹介(70分)
　　Transformer-XL[2019]
　　XLNet[2019]
　　RoBERTa[2019] 
　　ALBERT[2019]
　　T5[2019]
　　ERNIE[2019]
　　Reformer[2020]

3. 今後の研究トレンドに関する考察(20分)

会場

水道橋駅、神保町駅、九段下駅周辺
千代田区西神田2-7-14 YS西神田ビル2F

対象者

時間の都合上、BERTの概要については基本的に既知として話を進めます。
事前知識に自信のない方は前編に参加するか、下記を元に予習の上ご参加いただけますと
嬉しいです。
https://note.com/lib_arts/n/n810568c557fd

また、言語処理の基本の理解も前提としますので、下記の記事の内容を把握しているものとして進行します。
https://lib-arts.hatenablog.com/entry/nlp_tutorial1
https://lib-arts.hatenablog.com/entry/nlp_tutorial2
https://lib-arts.hatenablog.com/entry/nlp_tutorial3
https://lib-arts.hatenablog.com/entry/nlp_tutorial4
https://lib-arts.hatenablog.com/entry/nlp_tutorial5
https://lib-arts.hatenablog.com/entry/nlp_tutorial6

※ 電子書籍形式の方が良い方は下記よりご購入いただけます！
https://note.mu/lib_arts/n/n29437a435a8d

講師プロフィール

東大工学部卒。
データ分析/AI開発の仕事の経験は7年ほどで、理論/開発/ビジネスのどれも経験があり強い。
また、多くの業界のプロジェクトに関わったためドメイン知識も豊富。
初心者向けの指導実績も多く、1,000名近い。

費用

5,000円（2h）

※ 関連セミナー(19/5/7、5/28、6/16、7/16、8/6、8/18、9/9、10/8、11/11、12/11、
20/1/15)の参加者の方は3,000円とします。
※ 領収書発行の際は事務手数料として追加1,000円のお支払いをよろしくお願いいたします

定員

8名（人数に合わせて調整します、別媒体でも募集していますので申し込み人数は当日参加者数を
反映しません。）

ご参加にあたってのお願い

無断欠席や前日以降のキャンセルに関しては当日人数読めなくなり非常に迷惑なので
基本的に行わないようにお願いします。（直前参加は定員的に問題なければ歓迎です！）
体調不良、職務都合、ご家庭の事情などどうしてものケースは別途ご連絡いただくか、
イベントへのお問い合わせよりご連絡いただけますと嬉しいです。
上記がひどいアカウントに関してはブラックリスト処理を行い以後の参加をお断りさせて
いただきますので、その点だけ予めご了承ください。
（7割以上来れる前提でのお申し込みと前日以降のキャンセルはメッセージでのご連絡を
いただくということだけ気をつけていただければ大丈夫だと思います）

モチベーションの高い参加者の方を重視する運営としていきたいと考えています。
ご協力のほど、よろしくお願いいたします。