BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//https://techplay.jp//JP
CALSCALE:GREGORIAN
METHOD:PUBLISH
X-WR-CALDESC:BERT・XLNet・RoBERTa・ALBERT・T5の論文の解説と簡
 易ハンズオンを行うセミナー
X-WR-CALNAME:BERT・XLNet・RoBERTa・ALBERT・T5の論文の解説と簡
 易ハンズオンを行うセミナー
X-WR-TIMEZONE:Asia/Tokyo
BEGIN:VTIMEZONE
TZID:Asia/Tokyo
BEGIN:STANDARD
DTSTART:19700101T000000
TZOFFSETFROM:+0900
TZOFFSETTO:+0900
TZNAME:JST
END:STANDARD
END:VTIMEZONE
BEGIN:VEVENT
UID:759104@techplay.jp
SUMMARY:BERT・XLNet・RoBERTa・ALBERT・T5の論文の解説と簡易ハ
 ンズオンを行うセミナー
DTSTART;TZID=Asia/Tokyo:20191211T200000
DTEND;TZID=Asia/Tokyo:20191211T220000
DTSTAMP:20260522T211833Z
CREATED:20191112T051939Z
DESCRIPTION:イベント詳細はこちら\nhttps://techplay.jp/event/75910
 4?utm_medium=referral&utm_source=ics&utm_campaign=ics\n\n内容概要\n
 ここ最近BERTについてご質問いただくことが多いので企
 画させていただいています。\nhttps://arxiv.org/abs/1810.04805
 \nBERTは言語処理の事前学習（pre-trained）モデルとして
 役に立つのではということで\n注目を浴びています。\n
 \n今回は基礎知識〜トレンド〜論文の読解＆TensorFlow実
 装を実際に動かし、\n簡単に実装の流れを掴みます。Wo
 rd2Vec、Seq2Seq、Transformerなどに触れながら\nBERTまで話を
 つなげていければと思います。\n\nTransformer-XL、XLNet、Ro
 BERTa、ALBERT、T5の話にも言及しますので、様々な\n視点
 から汎用的な言語処理について見ていければと思いま
 す！\n\n\n↓下記でセミナー内容を電子書籍化していま
 すので、こちらを軽く読み流した上でご参加\nいただ
 くことを推奨します。内容のボリューム的に話の展開
 が早くなるので、軽い予習\nだけしてきていただくの
 が良いのではないかと思われます。\nhttps://note.mu/lib_art
 s/n/n810568c557fd\n\n開催日程\n12/11（水）\n受付： 19:50〜20:0
 0\n講義： 20:00〜22:00\n\n※ 途中5分ほどの休憩を設ける
 予定です。\n※ 19:40より前の入室は原則としてお断り
 します。\n\nアジェンダ\n1. 言語処理の概論の復習＆予
 備知識(20分)\n　　BoWとWord2Vec（局所表現と分散表現）\n
 　　言語モデルとニューラル言語モデル\n　　Seq2Seq（
 系列変換モデル）とEncoder-Decoder  etc\n\n2. 論文を元にし
 た解説(70分)\n　　Transformer[2017]\n　　BERT[2018]\n　　Transf
 ormer-XL[2019] \n　　XLNet[2019]\n　　RoBERTa[2019] \n　　ALBERT[20
 19]\n　　T5[2019]   <- New!\n\n3. 実装例を元にしたハンズオ
 ン(20分)\n　　下記を元にサンプルのrun_classifier.pyを実
 行と公式実装の簡単な解説を行います。\n　　https://git
 hub.com/google-research/bert\n　　（手順の共有とリポジトリ
 やコードの解説をメインにしますので、実行に関して
 の\n　　個別フォローは行いません。実行については
 おまけ程度に考えているので、話の大枠\n　　の理解
 を優先いただけたらと思います。）\n\n※ 全体の流れ
 は変えませんが、細かい時間配分は内容踏まえて変更
 する可能性があります。\n※ 以下進行にあたっての参
 考記事です。\nhttps://lib-arts.hatenablog.com/entry/nlp_dl1\nhttps:
 //lib-arts.hatenablog.com/entry/nlp_dl2\nhttps://lib-arts.hatenablog.com/
 entry/nlp_dl3\nhttps://lib-arts.hatenablog.com/entry/nlp_dl4\nhttps://lib
 -arts.hatenablog.com/entry/nlp_dl5\nhttps://lib-arts.hatenablog.com/entry
 /nlp_dl6\nhttps://lib-arts.hatenablog.com/entry/nlp_dl7\nhttps://lib-arts
 .hatenablog.com/entry/nlp_dl8\nhttps://lib-arts.hatenablog.com/entry/nlp_
 dl9\nhttps://lib-arts.hatenablog.com/entry/nlp_dl10\nhttps://lib-arts.hat
 enablog.com/entry/nlp_dl11\nhttps://lib-arts.hatenablog.com/entry/nlp_dl1
 2\nhttps://lib-arts.hatenablog.com/entry/nlp_dl13\nhttps://lib-arts.haten
 ablog.com/entry/nlp_dl14\nhttps://lib-arts.hatenablog.com/entry/nlp_dl15\
 nhttps://lib-arts.hatenablog.com/entry/nlp_dl16\nhttps://lib-arts.hatenab
 log.com/entry/nlp_dl17\n\n↓ALBERT\nhttps://lib-arts.hatenablog.com/entr
 y/nlp_dl21\nhttps://lib-arts.hatenablog.com/entry/nlp_dl22\nhttps://lib-a
 rts.hatenablog.com/entry/nlp_dl23\nhttps://lib-arts.hatenablog.com/entry/
 nlp_dl24\n\n会場\n水道橋駅、神保町駅、九段下駅周辺\n千
 代田区西神田2-7-14 YS西神田ビル2F\n\n対象者\n言語処理
 の基本の理解を前提としますので、下記の記事の内容
 を把握しているものとして進行します。\nhttps://lib-arts.
 hatenablog.com/entry/nlp_tutorial1\nhttps://lib-arts.hatenablog.com/entry
 /nlp_tutorial2\nhttps://lib-arts.hatenablog.com/entry/nlp_tutorial3\nhttp
 s://lib-arts.hatenablog.com/entry/nlp_tutorial4\nhttps://lib-arts.hatenab
 log.com/entry/nlp_tutorial5\nhttps://lib-arts.hatenablog.com/entry/nlp_tu
 torial6\n\n※ 電子書籍形式の方が良い方は下記よりご購
 入いただけます！\nhttps://note.mu/lib_arts/n/n29437a435a8d\n（
 こちら言語処理入門の書籍については、ご希望される
 場合在庫のある限りは当日紙媒体を無料でお渡ししま
 す！！）\n\n講師プロフィール\n東大工学部卒。\nデー
 タ分析/AI開発の仕事の経験は7年ほどで、理論/開発/ビ
 ジネスのどれも経験があり強い。\nまた、多くの業界
 のプロジェクトに関わったためドメイン知識も豊富。\
 n初心者向けの指導実績も多く、1\,000名近い。\n\n当日
 までの準備\n希望者は下記の公式を元に実行まで行っ
 ていただけたらと思いますので、環境の構築と事前学
 習\nモデルのダウンロードまで準備として行ってきて
 いただけるとスムーズです。\nhttps://github.com/google-resear
 ch/bert\nPython環境(3.6系推奨)とTensorFlow（1.12.0で動作確認
 取ってますが、公式だと1.11.0で\nテスト済みとされて
 います）のインストールとpre-trainedモデル(uncased_L-12_H-7
 68_A-12.zip)\nをダウンロードをお願いします。回線混み
 合わなければその場でダウンロードも可です。\n↓事
 前学習モデルのリンク（約400MB）\nhttps://storage.googleapis.
 com/bert_models/2018_10_18/uncased_L-12_H-768_A-12.zip\n（話の分量
 自体多く解説がメインなので、こちらの準備ではマス
 トではありません）\nまた下記のスクリプトを用いてGL
 UEのデータもダウンロードしておいてください。\nhttps:
 //gist.github.com/W4ngatang/60c2bdb54d156a41194446737ce03e2e\n\n関連分
 野について事前知識が欲しい方は「深層学習による自
 然言語処理」が非常に良い本なので、\nこちらに軽く
 目を通した上での参加を推奨します。（1\,3\,5章中心に
 読むのが良いと思います。）\nhttps://www.kspub.co.jp/book/det
 ail/1529243.html\nhttps://lib-arts.hatenablog.com/entry/nlp_dl1（1\,3\,5
 章読解メモ）\nhttps://lib-arts.hatenablog.com/entry/nlp_dl4（4章
 読解メモ）\n\n費用\n4\,000円（2h）\n\n※\n・領収書発行
 の際は事務手数料として追加1\,000円のお支払いをよろ
 しくお願いいたします\n\n定員\n10名（人数に合わせて
 調整します、別媒体でも募集していますので申し込み
 人数は当日参加者数を\n反映しません。）\n\nご参加に
 あたってのお願い\n無断欠席や前日以降のキャンセル
 に関しては当日人数読めなくなり非常に迷惑なので\n
 基本的に行わないようにお願いします。（直前参加は
 定員的に問題なければ歓迎です！）\n体調不良、職務
 都合、ご家庭の事情などどうしてものケースは別途ご
 連絡いただくか、\nイベントへのお問い合わせよりご
 連絡いただけますと嬉しいです。\n上記がひどいアカ
 ウントに関してはブラックリスト処理を行い以後の参
 加をお断りさせて\nいただきますので、その点だけ予
 めご了承ください。\n（7割以上来れる前提でのお申し
 込みと前日以降のキャンセルはメッセージでのご連絡
 を\nいただくということだけ気をつけていただければ
 大丈夫だと思います）\n\nモチベーションの高い参加者
 の方を重視する運営としていきたいと考えています。\
 nご協力のほど、よろしくお願いいたします。\n\n
LOCATION:
URL:https://techplay.jp/event/759104?utm_medium=referral&utm_source=ics&utm
 _campaign=ics
END:VEVENT
END:VCALENDAR