【少人数制】研究トレンドとTensorFlow実装で理解するBERTと事前学習

25名ほどが定員の部屋ですが昨今の事情を鑑み、多くても5名程度、MAX7名の開催を
想定しています。
（5/25段階で報道されているリスクについては全て考慮・分析済みなので、基本的によほどのことが
なければ延期せずに実施します）

詳しくは別途お送りしますが、自身やご家族の発熱などの際はキャンセルいただく想定です。
また、マスクもしくはマスクに類する何かしらで鼻から下は覆うようにだけは強制させていただく予定です。

近年話題のBERTについてご質問いただくことが多いので企画させていただいています。
https://arxiv.org/abs/1810.04805
BERTは言語処理の事前学習（pre-trained）モデルとして役に立つのではということで
注目を浴びています。

基礎知識〜トレンド〜論文の読解＆TensorFlow実装を実際に動かし、簡単に実装の流れを
掴みます。Word2Vec、Seq2Seq、Transformerなどに触れながらBERTまで話をつなげて
いければと思います。

Transformer-XL、XLNet、RoBERTa、ALBERT、T5、Reformerの話にも言及しますので、
様々な視点から汎用的な言語処理について見ていければと思います！


↓下記をベースに進めていきます。
https://lib-arts.booth.pm/items/1834866
https://lib-arts.booth.pm/items/1847458

6/16（火）
受付： 19:55〜20:00
講義： 20:00〜22:00

※ 途中5分ほどの休憩を設ける予定です。
※ 19:50より前の入室は原則としてお断りします。

1. 言語処理の概論の復習＆予備知識(20分)
　　BoWとWord2Vec（局所表現と分散表現）
　　言語モデルとニューラル言語モデル
　　Seq2Seq（系列変換モデル）とEncoder-Decoder  etc

2. 論文を元にした解説(70分)
　　Transformer[2017]
　　Reformer[2020]
　　BERT[2018]
　　Transformer-XL[2019] 
　　XLNet[2019]
　　RoBERTa[2019] 
　　ALBERT[2019]
　　T5[2019] 

3. TensorFlowコードの確認(20分)
　　下記のrun_classifier.pyの簡単な解説を行います。
　　https://github.com/google-research/bert
　　（手順の共有とリポジトリやコードの解説をメインにします。）

水道橋駅、神保町駅、九段下駅周辺
千代田区西神田2-7-14 YS西神田ビル2F

言語処理の基本の理解を前提としますので、下記の記事の内容を把握しているものとして進行します。
https://lib-arts.hatenablog.com/entry/nlp_tutorial1
https://lib-arts.hatenablog.com/entry/nlp_tutorial2
https://lib-arts.hatenablog.com/entry/nlp_tutorial3
https://lib-arts.hatenablog.com/entry/nlp_tutorial4
https://lib-arts.hatenablog.com/entry/nlp_tutorial5
https://lib-arts.hatenablog.com/entry/nlp_tutorial6

※ 電子書籍形式の方が良い方は下記よりご購入いただけます！
https://lib-arts.booth.pm/items/1655815

東大工学部卒。
データ分析/AI開発の仕事の経験は7年ほどで、理論/開発/ビジネスのどれも経験があり強い。
また、多くの業界のプロジェクトに関わったためドメイン知識も豊富。
初心者向けの指導実績も多く、1,000名近い。

希望者は下記の公式を元に実行まで行っていただけたらと思いますので、環境の構築と事前学習
モデルのダウンロードまで準備として行ってきていただけるとスムーズです。
https://github.com/google-research/bert
Python環境(3.6系推奨)とTensorFlow（1.12.0で動作確認取ってますが、公式だと1.11.0で
テスト済みとされています）のインストールとpre-trainedモデル(uncased_L-12_H-768_A-12.zip)
をダウンロードをお願いします。回線混み合わなければその場でダウンロードも可です。
↓事前学習モデルのリンク（約400MB）
https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-12_H-768_A-12.zip
（話の分量自体多く解説がメインなので、こちらの準備ではマストではありません）
また下記のスクリプトを用いてGLUEのデータもダウンロードしておいてください。
https://gist.github.com/W4ngatang/60c2bdb54d156a41194446737ce03e2e

関連分野について事前知識が欲しい方は「深層学習による自然言語処理」が非常に良い本なので、
こちらに軽く目を通した上での参加を推奨します。（1,3,5章中心に読むのが良いと思います。）
https://www.kspub.co.jp/book/detail/1529243.html
https://lib-arts.hatenablog.com/entry/nlp_dl1（1,3,5章読解メモ）
https://lib-arts.hatenablog.com/entry/nlp_dl4（4章読解メモ）

・5,000円（会員枠）
・7,000円（通常参加枠）

※ 領収書発行の際は事務手数料として追加1,000円のお支払いをよろしくお願いいたします。
※ 会員枠は下記のRegular or Premiumプランの加入者とします。
https://note.com/lib_arts/circle

5名（MAX7名とします。）

下記ページで様々なテキストが入手できるようにしています。
よろしければこちらもご検討いただけましたら嬉しいです！！
https://lib-arts.booth.pm/