BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//https://techplay.jp//JP
CALSCALE:GREGORIAN
METHOD:PUBLISH
X-WR-CALDESC:BERT・XLNet・RoBERTaの論文の解説と簡易ハンズオ
 ンを行うセミナー
X-WR-CALNAME:BERT・XLNet・RoBERTaの論文の解説と簡易ハンズオ
 ンを行うセミナー
X-WR-TIMEZONE:Asia/Tokyo
BEGIN:VTIMEZONE
TZID:Asia/Tokyo
BEGIN:STANDARD
DTSTART:19700101T000000
TZOFFSETFROM:+0900
TZOFFSETTO:+0900
TZNAME:JST
END:STANDARD
END:VTIMEZONE
BEGIN:VEVENT
UID:747777@techplay.jp
SUMMARY:BERT・XLNet・RoBERTaの論文の解説と簡易ハンズオンを
 行うセミナー
DTSTART;TZID=Asia/Tokyo:20190909T200000
DTEND;TZID=Asia/Tokyo:20190909T220000
DTSTAMP:20260406T171446Z
CREATED:20190827T142740Z
DESCRIPTION:イベント詳細はこちら\nhttps://techplay.jp/event/74777
 7?utm_medium=referral&utm_source=ics&utm_campaign=ics\n\n内容概要\n
 ここ最近BERTについてご質問いただくことが多いので企
 画させていただきました。\nhttps://arxiv.org/abs/1810.04805\nB
 ERTは言語処理の事前学習（pre-trained）モデルとして役
 に立つのではということで\n注目を浴びています。\n\n
 今回は基礎知識〜トレンド〜論文の読解＆TensorFlow実装
 を実際に動かし、\n簡単に実装の流れを掴みます。Word2
 Vec、Seq2Seq、Transformerなどに触れながら\nBERTまで話をつ
 なげていければと思います。\n\nTransformer-XL、XLNet、RoBER
 Taの話にも言及しますので、様々な視点から汎用的な\n
 言語処理について見ていければと思います！\n\n\n\n開
 催日程\n9/9（月）\n受付： 19:50〜20:00\n講義： 20:00〜22:00
 \n\n※\n途中5分ほどの休憩を設ける予定です。\n\n\n\nア
 ジェンダ\n1. 言語処理の概論の復習＆予備知識(20分)\n  
     BoWとWord2Vec（局所表現と分散表現）\n　　言語モデ
 ルとニューラル言語モデル\n　　Seq2Seq（系列変換モデ
 ル）とEncoder-Decoder  etc\n\n2. 論文を元にした解説(60分)\n
 　　Transformer[2017]\n　　BERT[2018]\n　　Transformer-XL[2019] <- 
 簡単な概要の解説を追加します。\n　　XLNet[2019]\n　　R
 oBERTa[2019]  <- 簡単な概要の解説を追加します。\n\n3. 実
 装例を元にしたハンズオン(30分)\n　　下記を元にサン
 プルのrun_classifier.pyを実行と公式実装の簡単な解説を
 行います。\n　　https://github.com/google-research/bert\n　　（
 手順の共有とリポジトリやコードの解説をメインにし
 ますので、実行に関しての\n　　個別フォローは行い
 ません。実行についてはおまけ程度に考えているので
 、話の大枠\n　　の理解を優先いただけたらと思いま
 す。）\n\n※ 全体の流れは変えませんが、細かい時間
 配分は内容踏まえて変更する可能性があります。\n※ 
 以下進行にあたっての参考記事です\nhttps://lib-arts.hatena
 blog.com/entry/nlp_dl1\nhttps://lib-arts.hatenablog.com/entry/nlp_dl2\nht
 tps://lib-arts.hatenablog.com/entry/nlp_dl3\nhttps://lib-arts.hatenablog.
 com/entry/nlp_dl4\nhttps://lib-arts.hatenablog.com/entry/nlp_dl5\nhttps:/
 /lib-arts.hatenablog.com/entry/nlp_dl6\nhttps://lib-arts.hatenablog.com/e
 ntry/nlp_dl7\nhttps://lib-arts.hatenablog.com/entry/nlp_dl8\nhttps://lib-
 arts.hatenablog.com/entry/nlp_dl9\nhttps://lib-arts.hatenablog.com/entry/
 nlp_dl10\nhttps://lib-arts.hatenablog.com/entry/nlp_dl11\nhttps://lib-art
 s.hatenablog.com/entry/nlp_dl12\nhttps://lib-arts.hatenablog.com/entry/nl
 p_dl13\nhttps://lib-arts.hatenablog.com/entry/nlp_dl14\nhttps://lib-arts.
 hatenablog.com/entry/nlp_dl15\n\n\n\n会場\n水道橋駅、神保町駅
 、九段下駅周辺\n千代田区西神田2-7-14 YS西神田ビル2F\n\
 n\n\n対象者\n言語処理の基本の理解を前提としますので
 、下記の記事の内容を把握しているものとして進行し
 ます。\nhttps://lib-arts.hatenablog.com/entry/nlp_tutorial1\nhttps://l
 ib-arts.hatenablog.com/entry/nlp_tutorial2\nhttps://lib-arts.hatenablog.c
 om/entry/nlp_tutorial3\nhttps://lib-arts.hatenablog.com/entry/nlp_tutoria
 l4\nhttps://lib-arts.hatenablog.com/entry/nlp_tutorial5\nhttps://lib-arts
 .hatenablog.com/entry/nlp_tutorial6\n\n\n\n講師プロフィール\n東
 大工学部卒。\nデータ分析/AI開発の仕事の経験は7年ほ
 どで、理論/開発/ビジネスのどれも経験があり強い。\n
 また、多くの業界のプロジェクトに関わったためドメ
 イン知識も豊富。\n初心者向けの指導実績も多く、1\,00
 0名近い。\n\n\n\n当日までの準備\n希望者は下記の公式
 を元に実行まで行っていただけたらと思いますので、
 環境の構築と事前学習\nモデルのダウンロードまで準
 備として行ってきていただけるとスムーズです。\nhttps
 ://github.com/google-research/bert\nPython環境(3.6系推奨)とTensorFl
 ow（1.12.0で動作確認取ってますが、公式だと1.11.0で\nテ
 スト済みとされています）のインストールとpre-trained
 モデル(uncased_L-12_H-768_A-12.zip)\nをダウンロードをお願い
 します。回線混み合わなければその場でダウンロード
 も可です。\n↓事前学習モデルのリンク（約400MB）\nhttp
 s://storage.googleapis.com/bert_models/2018_10_18/uncased_L-12_H-768_A-12
 .zip\n（話の分量自体多く解説がメインなので、こちら
 の準備ではマストではありません）\nまた下記のスク
 リプトを用いてGLUEのデータもダウンロードしておいて
 ください。\nhttps://gist.github.com/W4ngatang/60c2bdb54d156a41194446
 737ce03e2e\n\n関連分野について事前知識が欲しい方は「
 深層学習による自然言語処理」が非常に良い本なので
 、\nこちらに軽く目を通した上での参加を推奨します
 。（1\,3\,5章中心に読むのが良いと思います。）\nhttps:/
 /www.kspub.co.jp/book/detail/1529243.html\n\n\n\n費用\n5\,000円（2h
 ）\n\n※\n・領収書発行の際は事務手数料として追加1\,0
 00円のお支払いをよろしくお願いいたします\n\n\n\n定員
 \n8名（人数に合わせて調整します、別媒体でも募集し
 ていますので申し込み人数は当日参加者数を反映しま
 せん）\n\n\n\n備考\nおそらく分量に対し、内容が多過ぎ
 るので参照している記事はある程度目を通してきて\n
 いただける方が良いのではと思います。\n\n\n\nご参加
 にあたってのお願い\n無断欠席や前日以降のキャンセ
 ルに関しては当日人数読めなくなり非常に迷惑なので\
 n基本的に行わないようにお願いします。（直前参加は
 定員的に問題なければ歓迎です！）\n体調不良、職務
 都合、ご家庭の事情などどうしてものケースは別途ご
 連絡いただくか、\nイベントへのお問い合わせよりご
 連絡いただけますと嬉しいです。\n上記がひどいアカ
 ウントに関してはブラックリスト処理を行い以後の参
 加をお断りさせて\nいただきますので、その点だけ予
 めご了承ください。\n（7割以上来れる前提でのお申し
 込みと前日以降のキャンセルはメッセージでのご連絡
 を\nいただくということだけ気をつけていただければ
 大丈夫だと思います）\n\nモチベーションの高い参加者
 の方を重視する運営としていきたいと考えています。\
 nご協力のほど、よろしくお願いいたします。\n
LOCATION:水道橋駅周辺 千代田区西神田2-7-14 YS西神田ビル2F
URL:https://techplay.jp/event/747777?utm_medium=referral&utm_source=ics&utm
 _campaign=ics
END:VEVENT
END:VCALENDAR