BERT・XLNet・RoBERTaの論文の解説と簡易ハンズオンを行うセミナー

内容概要

ここ最近BERTについてご質問いただくことが多いので企画させていただきました。
https://arxiv.org/abs/1810.04805
BERTは言語処理の事前学習（pre-trained）モデルとして役に立つのではということで
注目を浴びています。

今回は基礎知識〜トレンド〜論文の読解＆TensorFlow実装を実際に動かし、
簡単に実装の流れを掴みます。Word2Vec、Seq2Seq、Transformerなどに触れながら
BERTまで話をつなげていければと思います。

Transformer-XL、XLNet、RoBERTaの話にも言及しますので、様々な視点から汎用的な
言語処理について見ていければと思います！

開催日程

10/8（火）
受付： 19:50〜20:00
講義： 20:00〜22:00

※
途中5分ほどの休憩を設ける予定です。

アジェンダ

1. 言語処理の概論の復習＆予備知識(20分)
　　BoWとWord2Vec（局所表現と分散表現）
　　言語モデルとニューラル言語モデル
　　Seq2Seq（系列変換モデル）とEncoder-Decoder  etc

2. 論文を元にした解説(70分)
　　Transformer[2017]
　　BERT[2018]
　　Transformer-XL[2019] 
　　XLNet[2019]
　　RoBERTa[2019] 

3. 実装例を元にしたハンズオン(20分)
　　下記を元にサンプルのrun_classifier.pyを実行と公式実装の簡単な解説を行います。
　　https://github.com/google-research/bert
　　（手順の共有とリポジトリやコードの解説をメインにしますので、実行に関しての
　　個別フォローは行いません。実行についてはおまけ程度に考えているので、話の大枠
　　の理解を優先いただけたらと思います。）

※ 全体の流れは変えませんが、細かい時間配分は内容踏まえて変更する可能性があります。
※ 以下進行にあたっての参考記事です
https://lib-arts.hatenablog.com/entry/nlp_dl1
https://lib-arts.hatenablog.com/entry/nlp_dl2
https://lib-arts.hatenablog.com/entry/nlp_dl3
https://lib-arts.hatenablog.com/entry/nlp_dl4
https://lib-arts.hatenablog.com/entry/nlp_dl5
https://lib-arts.hatenablog.com/entry/nlp_dl6
https://lib-arts.hatenablog.com/entry/nlp_dl7
https://lib-arts.hatenablog.com/entry/nlp_dl8
https://lib-arts.hatenablog.com/entry/nlp_dl9
https://lib-arts.hatenablog.com/entry/nlp_dl10
https://lib-arts.hatenablog.com/entry/nlp_dl11
https://lib-arts.hatenablog.com/entry/nlp_dl12
https://lib-arts.hatenablog.com/entry/nlp_dl13
https://lib-arts.hatenablog.com/entry/nlp_dl14
https://lib-arts.hatenablog.com/entry/nlp_dl15
https://lib-arts.hatenablog.com/entry/nlp_dl16
https://lib-arts.hatenablog.com/entry/nlp_dl17

会場

水道橋駅、神保町駅、九段下駅周辺
千代田区西神田2-7-14 YS西神田ビル2F

対象者

言語処理の基本の理解を前提としますので、下記の記事の内容を把握しているものとして進行します。
https://lib-arts.hatenablog.com/entry/nlp_tutorial1
https://lib-arts.hatenablog.com/entry/nlp_tutorial2
https://lib-arts.hatenablog.com/entry/nlp_tutorial3
https://lib-arts.hatenablog.com/entry/nlp_tutorial4
https://lib-arts.hatenablog.com/entry/nlp_tutorial5
https://lib-arts.hatenablog.com/entry/nlp_tutorial6

※ 電子書籍形式の方が良い方は下記よりご購入いただけます！
https://note.mu/lib_arts/n/n29437a435a8d
（電子書籍ご購入いただいた方は、ご希望される場合在庫のある限りは当日紙媒体を無料でお渡しします！！）

講師プロフィール

東大工学部卒。
データ分析/AI開発の仕事の経験は7年ほどで、理論/開発/ビジネスのどれも経験があり強い。
また、多くの業界のプロジェクトに関わったためドメイン知識も豊富。
初心者向けの指導実績も多く、1,000名近い。

当日までの準備

希望者は下記の公式を元に実行まで行っていただけたらと思いますので、環境の構築と事前学習
モデルのダウンロードまで準備として行ってきていただけるとスムーズです。
https://github.com/google-research/bert
Python環境(3.6系推奨)とTensorFlow（1.12.0で動作確認取ってますが、公式だと1.11.0で
テスト済みとされています）のインストールとpre-trainedモデル(uncased_L-12_H-768_A-12.zip)
をダウンロードをお願いします。回線混み合わなければその場でダウンロードも可です。
↓事前学習モデルのリンク（約400MB）
https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-12_H-768_A-12.zip
（話の分量自体多く解説がメインなので、こちらの準備ではマストではありません）
また下記のスクリプトを用いてGLUEのデータもダウンロードしておいてください。
https://gist.github.com/W4ngatang/60c2bdb54d156a41194446737ce03e2e

関連分野について事前知識が欲しい方は「深層学習による自然言語処理」が非常に良い本なので、
こちらに軽く目を通した上での参加を推奨します。（1,3,5章中心に読むのが良いと思います。）
https://www.kspub.co.jp/book/detail/1529243.html
https://lib-arts.hatenablog.com/entry/nlp_dl1（1,3,5章読解メモ）
https://lib-arts.hatenablog.com/entry/nlp_dl4（4章読解メモ）

費用

4,000円（2h）

※
・領収書発行の際は事務手数料として追加1,000円のお支払いをよろしくお願いいたします

定員

10名（人数に合わせて調整します、別媒体でも募集していますので申し込み人数は当日参加者数を反映しません）

ご参加にあたってのお願い

無断欠席や前日以降のキャンセルに関しては当日人数読めなくなり非常に迷惑なので
基本的に行わないようにお願いします。（直前参加は定員的に問題なければ歓迎です！）
体調不良、職務都合、ご家庭の事情などどうしてものケースは別途ご連絡いただくか、
イベントへのお問い合わせよりご連絡いただけますと嬉しいです。
上記がひどいアカウントに関してはブラックリスト処理を行い以後の参加をお断りさせて
いただきますので、その点だけ予めご了承ください。
（7割以上来れる前提でのお申し込みと前日以降のキャンセルはメッセージでのご連絡を
いただくということだけ気をつけていただければ大丈夫だと思います）

モチベーションの高い参加者の方を重視する運営としていきたいと考えています。
ご協力のほど、よろしくお願いいたします。