BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//https://techplay.jp//JP
CALSCALE:GREGORIAN
METHOD:PUBLISH
X-WR-CALDESC:BERT・XLNet・RoBERTaの論文の解説と簡易ハンズオ
 ンを行うセミナー
X-WR-CALNAME:BERT・XLNet・RoBERTaの論文の解説と簡易ハンズオ
 ンを行うセミナー
X-WR-TIMEZONE:Asia/Tokyo
BEGIN:VTIMEZONE
TZID:Asia/Tokyo
BEGIN:STANDARD
DTSTART:19700101T000000
TZOFFSETFROM:+0900
TZOFFSETTO:+0900
TZNAME:JST
END:STANDARD
END:VTIMEZONE
BEGIN:VEVENT
UID:751527@techplay.jp
SUMMARY:BERT・XLNet・RoBERTaの論文の解説と簡易ハンズオンを
 行うセミナー
DTSTART;TZID=Asia/Tokyo:20191008T200000
DTEND;TZID=Asia/Tokyo:20191008T220000
DTSTAMP:20260522T102912Z
CREATED:20190922T140556Z
DESCRIPTION:イベント詳細はこちら\nhttps://techplay.jp/event/75152
 7?utm_medium=referral&utm_source=ics&utm_campaign=ics\n\n内容概要\n\n
 ここ最近BERTについてご質問いただくことが多いので企
 画させていただきました。\nhttps://arxiv.org/abs/1810.04805\nB
 ERTは言語処理の事前学習（pre-trained）モデルとして役
 に立つのではということで\n注目を浴びています。\n\n
 今回は基礎知識〜トレンド〜論文の読解＆TensorFlow実装
 を実際に動かし、\n簡単に実装の流れを掴みます。Word2
 Vec、Seq2Seq、Transformerなどに触れながら\nBERTまで話をつ
 なげていければと思います。\n\nTransformer-XL、XLNet、RoBER
 Taの話にも言及しますので、様々な視点から汎用的な\n
 言語処理について見ていければと思います！\n\n\n開催
 日程\n\n10/8（火）\n受付： 19:50〜20:00\n講義： 20:00〜22:00
 \n\n※\n途中5分ほどの休憩を設ける予定です。\n\n\nアジ
 ェンダ\n\n1. 言語処理の概論の復習＆予備知識(20分)\n　
 　BoWとWord2Vec（局所表現と分散表現）\n　　言語モデル
 とニューラル言語モデル\n　　Seq2Seq（系列変換モデル
 ）とEncoder-Decoder  etc\n\n2. 論文を元にした解説(70分)\n　
 　Transformer[2017]\n　　BERT[2018]\n　　Transformer-XL[2019] \n　
 　XLNet[2019]\n　　RoBERTa[2019] \n\n3. 実装例を元にしたハン
 ズオン(20分)\n　　下記を元にサンプルのrun_classifier.py
 を実行と公式実装の簡単な解説を行います。\n　　https
 ://github.com/google-research/bert\n　　（手順の共有とリポジ
 トリやコードの解説をメインにしますので、実行に関
 しての\n　　個別フォローは行いません。実行につい
 てはおまけ程度に考えているので、話の大枠\n　　の
 理解を優先いただけたらと思います。）\n\n※ 全体の
 流れは変えませんが、細かい時間配分は内容踏まえて
 変更する可能性があります。\n※ 以下進行にあたって
 の参考記事です\nhttps://lib-arts.hatenablog.com/entry/nlp_dl1\nhtt
 ps://lib-arts.hatenablog.com/entry/nlp_dl2\nhttps://lib-arts.hatenablog.c
 om/entry/nlp_dl3\nhttps://lib-arts.hatenablog.com/entry/nlp_dl4\nhttps://
 lib-arts.hatenablog.com/entry/nlp_dl5\nhttps://lib-arts.hatenablog.com/en
 try/nlp_dl6\nhttps://lib-arts.hatenablog.com/entry/nlp_dl7\nhttps://lib-a
 rts.hatenablog.com/entry/nlp_dl8\nhttps://lib-arts.hatenablog.com/entry/n
 lp_dl9\nhttps://lib-arts.hatenablog.com/entry/nlp_dl10\nhttps://lib-arts.
 hatenablog.com/entry/nlp_dl11\nhttps://lib-arts.hatenablog.com/entry/nlp_
 dl12\nhttps://lib-arts.hatenablog.com/entry/nlp_dl13\nhttps://lib-arts.ha
 tenablog.com/entry/nlp_dl14\nhttps://lib-arts.hatenablog.com/entry/nlp_dl
 15\nhttps://lib-arts.hatenablog.com/entry/nlp_dl16\nhttps://lib-arts.hate
 nablog.com/entry/nlp_dl17\n\n\n会場\n\n水道橋駅、神保町駅、
 九段下駅周辺\n千代田区西神田2-7-14 YS西神田ビル2F\n\n\n
 対象者\n\n言語処理の基本の理解を前提としますので、
 下記の記事の内容を把握しているものとして進行しま
 す。\nhttps://lib-arts.hatenablog.com/entry/nlp_tutorial1\nhttps://lib-
 arts.hatenablog.com/entry/nlp_tutorial2\nhttps://lib-arts.hatenablog.com/
 entry/nlp_tutorial3\nhttps://lib-arts.hatenablog.com/entry/nlp_tutorial4\
 nhttps://lib-arts.hatenablog.com/entry/nlp_tutorial5\nhttps://lib-arts.ha
 tenablog.com/entry/nlp_tutorial6\n\n※ 電子書籍形式の方が良い
 方は下記よりご購入いただけます！\nhttps://note.mu/lib_art
 s/n/n29437a435a8d\n（電子書籍ご購入いただいた方は、ご希
 望される場合在庫のある限りは当日紙媒体を無料でお
 渡しします！！）\n\n\n講師プロフィール\n\n東大工学部
 卒。\nデータ分析/AI開発の仕事の経験は7年ほどで、理
 論/開発/ビジネスのどれも経験があり強い。\nまた、多
 くの業界のプロジェクトに関わったためドメイン知識
 も豊富。\n初心者向けの指導実績も多く、1\,000名近い
 。\n\n\n当日までの準備\n\n希望者は下記の公式を元に実
 行まで行っていただけたらと思いますので、環境の構
 築と事前学習\nモデルのダウンロードまで準備として
 行ってきていただけるとスムーズです。\nhttps://github.co
 m/google-research/bert\nPython環境(3.6系推奨)とTensorFlow（1.12.0
 で動作確認取ってますが、公式だと1.11.0で\nテスト済
 みとされています）のインストールとpre-trainedモデル(u
 ncased_L-12_H-768_A-12.zip)\nをダウンロードをお願いします
 。回線混み合わなければその場でダウンロードも可で
 す。\n↓事前学習モデルのリンク（約400MB）\nhttps://stora
 ge.googleapis.com/bert_models/2018_10_18/uncased_L-12_H-768_A-12.zip\n（
 話の分量自体多く解説がメインなので、こちらの準備
 ではマストではありません）\nまた下記のスクリプト
 を用いてGLUEのデータもダウンロードしておいてくださ
 い。\nhttps://gist.github.com/W4ngatang/60c2bdb54d156a41194446737ce03e2
 e\n\n関連分野について事前知識が欲しい方は「深層学
 習による自然言語処理」が非常に良い本なので、\nこ
 ちらに軽く目を通した上での参加を推奨します。（1\,3
 \,5章中心に読むのが良いと思います。）\nhttps://www.kspub
 .co.jp/book/detail/1529243.html\nhttps://lib-arts.hatenablog.com/entry/nl
 p_dl1（1\,3\,5章読解メモ）\nhttps://lib-arts.hatenablog.com/entry/
 nlp_dl4（4章読解メモ）\n\n\n費用\n\n4\,000円（2h）\n\n※\n
 ・領収書発行の際は事務手数料として追加1\,000円のお
 支払いをよろしくお願いいたします\n\n\n定員\n\n10名（
 人数に合わせて調整します、別媒体でも募集していま
 すので申し込み人数は当日参加者数を反映しません）\
 n\n\nご参加にあたってのお願い\n\n無断欠席や前日以降
 のキャンセルに関しては当日人数読めなくなり非常に
 迷惑なので\n基本的に行わないようにお願いします。
 （直前参加は定員的に問題なければ歓迎です！）\n体
 調不良、職務都合、ご家庭の事情などどうしてものケ
 ースは別途ご連絡いただくか、\nイベントへのお問い
 合わせよりご連絡いただけますと嬉しいです。\n上記
 がひどいアカウントに関してはブラックリスト処理を
 行い以後の参加をお断りさせて\nいただきますので、
 その点だけ予めご了承ください。\n（7割以上来れる前
 提でのお申し込みと前日以降のキャンセルはメッセー
 ジでのご連絡を\nいただくということだけ気をつけて
 いただければ大丈夫だと思います）\n\nモチベーション
 の高い参加者の方を重視する運営としていきたいと考
 えています。\nご協力のほど、よろしくお願いいたし
 ます。\n\n
LOCATION:
URL:https://techplay.jp/event/751527?utm_medium=referral&utm_source=ics&utm
 _campaign=ics
END:VEVENT
END:VCALENDAR