BEGIN:VCALENDAR VERSION:2.0 PRODID:-//https://techplay.jp//JP CALSCALE:GREGORIAN METHOD:PUBLISH X-WR-CALDESC:BERT・XLNet・RoBERTa・ALBERTの論文の解説と簡易ハ ンズオンを行うセミナー X-WR-CALNAME:BERT・XLNet・RoBERTa・ALBERTの論文の解説と簡易ハ ンズオンを行うセミナー X-WR-TIMEZONE:Asia/Tokyo BEGIN:VTIMEZONE TZID:Asia/Tokyo BEGIN:STANDARD DTSTART:19700101T000000 TZOFFSETFROM:+0900 TZOFFSETTO:+0900 TZNAME:JST END:STANDARD END:VTIMEZONE BEGIN:VEVENT UID:754385@techplay.jp SUMMARY:BERT・XLNet・RoBERTa・ALBERTの論文の解説と簡易ハンズ オンを行うセミナー DTSTART;TZID=Asia/Tokyo:20191111T200000 DTEND;TZID=Asia/Tokyo:20191111T220000 DTSTAMP:20260521T114936Z CREATED:20191010T064303Z DESCRIPTION:イベント詳細はこちら\nhttps://techplay.jp/event/75438 5?utm_medium=referral&utm_source=ics&utm_campaign=ics\n\n内容概要\n ここ最近BERTについてご質問いただくことが多いので企 画させていただいています。\nhttps://arxiv.org/abs/1810.04805 \nBERTは言語処理の事前学習（pre-trained）モデルとして 役に立つのではということで\n注目を浴びています。\n \n今回は基礎知識〜トレンド〜論文の読解＆TensorFlow実 装を実際に動かし、\n簡単に実装の流れを掴みます。Wo rd2Vec、Seq2Seq、Transformerなどに触れながら\nBERTまで話を つなげていければと思います。\n\nTransformer-XL、XLNet、Ro BERTa、ALBERTの話にも言及しますので、様々な視点から\n 汎用的な言語処理について見ていければと思います！\ n\n↓電子書籍形式でまとめてみましたのでよろしけれ ばこちらもご検討ください！！\nhttps://note.mu/lib_arts/n/n8 10568c557fd\n\n開催日程\n11/11（月）\n受付： 19:50〜20:00\n講 義： 20:00〜22:00\n\n※ 途中5〜10分程、休憩を設ける予定 です。\n※ 19:40より前の入室は原則としてお断りしま す。\n\nアジェンダ\n1. 言語処理の概論の復習＆予備知 識(20分)\n　　BoWとWord2Vec（局所表現と分散表現）\n　　 言語モデルとニューラル言語モデル\n　　Seq2Seq（系列 変換モデル）とEncoder-Decoder etc\n\n2. 論文を元にした解 説(70分)\n　　Transformer[2017]\n　　BERT[2018]\n　　Transformer- XL[2019] \n　　XLNet[2019]\n　　RoBERTa[2019] \n　　ALBERT[2019] <- New!\n\n3. 実装例を元にしたハンズオン(20分)\n　　下 記を元にサンプルのrun_classifier.pyを実行と公式実装の 簡単な解説を行います。\n　　https://github.com/google-resear ch/bert\n　　（手順の共有とリポジトリやコードの解説 をメインにしますので、実行に関しての\n　　個別フ ォローは行いません。実行についてはおまけ程度に考 えているので、話の大枠\n　　の理解を優先いただけ たらと思います。）\n\n※ 全体の流れは変えませんが 、細かい時間配分は内容踏まえて変更する可能性があ ります。\n※ 以下進行にあたっての参考記事です。ALBE RTは後日投稿したのち追記します。\nhttps://lib-arts.hatenab log.com/entry/nlp_dl1\nhttps://lib-arts.hatenablog.com/entry/nlp_dl2\nhtt ps://lib-arts.hatenablog.com/entry/nlp_dl3\nhttps://lib-arts.hatenablog.c om/entry/nlp_dl4\nhttps://lib-arts.hatenablog.com/entry/nlp_dl5\nhttps:// lib-arts.hatenablog.com/entry/nlp_dl6\nhttps://lib-arts.hatenablog.com/en try/nlp_dl7\nhttps://lib-arts.hatenablog.com/entry/nlp_dl8\nhttps://lib-a rts.hatenablog.com/entry/nlp_dl9\nhttps://lib-arts.hatenablog.com/entry/n lp_dl10\nhttps://lib-arts.hatenablog.com/entry/nlp_dl11\nhttps://lib-arts .hatenablog.com/entry/nlp_dl12\nhttps://lib-arts.hatenablog.com/entry/nlp _dl13\nhttps://lib-arts.hatenablog.com/entry/nlp_dl14\nhttps://lib-arts.h atenablog.com/entry/nlp_dl15\nhttps://lib-arts.hatenablog.com/entry/nlp_d l16\nhttps://lib-arts.hatenablog.com/entry/nlp_dl17\n\n↓ALBERT\nhttps:/ /lib-arts.hatenablog.com/entry/nlp_dl21\nhttps://lib-arts.hatenablog.com/ entry/nlp_dl22\nhttps://lib-arts.hatenablog.com/entry/nlp_dl23\nhttps://l ib-arts.hatenablog.com/entry/nlp_dl24\n\n会場\n水道橋駅、神保町 駅、九段下駅周辺\n千代田区西神田2-7-14 YS西神田ビル2F \n\n対象者\n言語処理の基本の理解を前提としますので 、下記の記事の内容を把握しているものとして進行し ます。\nhttps://lib-arts.hatenablog.com/entry/nlp_tutorial1\nhttps://l ib-arts.hatenablog.com/entry/nlp_tutorial2\nhttps://lib-arts.hatenablog.c om/entry/nlp_tutorial3\nhttps://lib-arts.hatenablog.com/entry/nlp_tutoria l4\nhttps://lib-arts.hatenablog.com/entry/nlp_tutorial5\nhttps://lib-arts .hatenablog.com/entry/nlp_tutorial6\n\n※ 電子書籍形式の方が良 い方は下記よりご購入いただけます！\nhttps://note.mu/lib_ arts/n/n29437a435a8d\n（電子書籍ご購入いただいた方は、ご 希望される場合在庫のある限りは当日紙媒体を無料で お渡しします！！）\n\n講師プロフィール\n東大工学部 卒。\nデータ分析/AI開発の仕事の経験は7年ほどで、理 論/開発/ビジネスのどれも経験があり強い。\nまた、多 くの業界のプロジェクトに関わったためドメイン知識 も豊富。\n初心者向けの指導実績も多く、1\,000名近い 。\n\n当日までの準備\n希望者は下記の公式を元に実行 まで行っていただけたらと思いますので、環境の構築 と事前学習\nモデルのダウンロードまで準備として行 ってきていただけるとスムーズです。\nhttps://github.com/g oogle-research/bert\nPython環境(3.6系推奨)とTensorFlow（1.12.0で 動作確認取ってますが、公式だと1.11.0で\nテスト済み とされています）のインストールとpre-trainedモデル(unca sed_L-12_H-768_A-12.zip)\nをダウンロードをお願いします。 回線混み合わなければその場でダウンロードも可です 。\n↓事前学習モデルのリンク（約400MB）\nhttps://storage. googleapis.com/bert_models/2018_10_18/uncased_L-12_H-768_A-12.zip\n（話 の分量自体多く解説がメインなので、こちらの準備で はマストではありません）\nまた下記のスクリプトを 用いてGLUEのデータもダウンロードしておいてください 。\nhttps://gist.github.com/W4ngatang/60c2bdb54d156a41194446737ce03e2e\n \n関連分野について事前知識が欲しい方は「深層学習 による自然言語処理」が非常に良い本なので、\nこち らに軽く目を通した上での参加を推奨します。（1\,3\,5 章中心に読むのが良いと思います。）\nhttps://www.kspub.co .jp/book/detail/1529243.html\nhttps://lib-arts.hatenablog.com/entry/nlp_d l1（1\,3\,5章読解メモ）\nhttps://lib-arts.hatenablog.com/entry/nlp _dl4（4章読解メモ）\n\n費用\n4\,000円（2h）\n\n※\n・領収 書発行の際は事務手数料として追加1\,000円のお支払い をよろしくお願いいたします\n\n定員\n8名（人数に合わ せて調整します、別媒体でも募集していますので申し 込み人数は当日参加者数を\n反映しません。）\n\nご参 加にあたってのお願い\n無断欠席や前日以降のキャン セルに関しては当日人数読めなくなり非常に迷惑なの で\n基本的に行わないようにお願いします。（直前参 加は定員的に問題なければ歓迎です！）\n体調不良、 職務都合、ご家庭の事情などどうしてものケースは別 途ご連絡いただくか、\nイベントへのお問い合わせよ りご連絡いただけますと嬉しいです。\n上記がひどい アカウントに関してはブラックリスト処理を行い以後 の参加をお断りさせて\nいただきますので、その点だ け予めご了承ください。\n（7割以上来れる前提でのお 申し込みと前日以降のキャンセルはメッセージでのご 連絡を\nいただくということだけ気をつけていただけ れば大丈夫だと思います）\n\nモチベーションの高い参 加者の方を重視する運営としていきたいと考えていま す。\nご協力のほど、よろしくお願いいたします。\n\n LOCATION: URL:https://techplay.jp/event/754385?utm_medium=referral&utm_source=ics&utm _campaign=ics END:VEVENT END:VCALENDAR