BEGIN:VCALENDAR VERSION:2.0 PRODID:-//https://techplay.jp//JP CALSCALE:GREGORIAN METHOD:PUBLISH X-WR-CALDESC:BERT・XLNet・ALBERT・T5・ERINEの論文の解説と簡易 ハンズオンを行うセミナー X-WR-CALNAME:BERT・XLNet・ALBERT・T5・ERINEの論文の解説と簡易 ハンズオンを行うセミナー X-WR-TIMEZONE:Asia/Tokyo BEGIN:VTIMEZONE TZID:Asia/Tokyo BEGIN:STANDARD DTSTART:19700101T000000 TZOFFSETFROM:+0900 TZOFFSETTO:+0900 TZNAME:JST END:STANDARD END:VTIMEZONE BEGIN:VEVENT UID:763336@techplay.jp SUMMARY:BERT・XLNet・ALBERT・T5・ERINEの論文の解説と簡易ハン ズオンを行うセミナー DTSTART;TZID=Asia/Tokyo:20200115T200000 DTEND;TZID=Asia/Tokyo:20200115T220000 DTSTAMP:20260522T135354Z CREATED:20191212T092549Z DESCRIPTION:イベント詳細はこちら\nhttps://techplay.jp/event/76333 6?utm_medium=referral&utm_source=ics&utm_campaign=ics\n\n内容概要\n ここ最近BERTについてご質問いただくことが多いので企 画させていただいています。\nhttps://arxiv.org/abs/1810.04805 \nBERTは言語処理の事前学習（pre-trained）モデルとして 役に立つのではということで\n注目を浴びています。\n \n今回は基礎知識〜トレンド〜論文の読解＆TensorFlow実 装を実際に動かし、\n簡単に実装の流れを掴みます。Wo rd2Vec、Seq2Seq、Transformerなどに触れながら\nBERTまで話を つなげていければと思います。\n\nXLNet、RoBERTa、ALBERT、 T5、ERINEの話にも言及しますので、様々な\n視点から汎 用的な言語処理について見ていければと思います！\n\n \n↓下記でセミナー内容を電子書籍化していますので 、こちらを軽く読み流した上でご参加\nいただくこと を推奨します。内容のボリューム的に話の展開が早く なるので、軽い予習\nだけしてきていただくのが良い のではないかと思われます。\n（30分程度で4章までを 軽く読み流してきていただけるとスムーズだと思いま す。理解までは\n大丈夫ですが、こういう話見たな程 度の知識はある方が話が入ってきやすいと思います。 ）\nhttps://note.mu/lib_arts/n/n810568c557fd\n\n開催日程\n1/15（水 ）\n受付： 19:50〜20:00\n講義： 20:00〜22:00\n\n※ 途中5分 ほどの休憩を設ける予定です。\n※ 19:40より前の入室 は原則としてお断りします。\n\nアジェンダ\n1. 言語処 理の概論の復習＆予備知識(20分)\n　　BoWとWord2Vec（局 所表現と分散表現）\n　　言語モデルとニューラル言 語モデル\n　　Seq2Seq（系列変換モデル）とEncoder-Decoder etc\n\n2. 論文を元にした解説(70分)\n　　Transformer[2017]\n 　　BERT[2018]\n　　XLNet[2019]\n　　RoBERTa[2019] \n　　ALBERT[2 019]\n　　T5[2019]\n　　ERINE[2019] <- New!\n\n3. 実装例を元 にしたハンズオン(20分)\n　　下記を元にサンプルのrun_ classifier.pyを実行と公式実装の簡単な解説を行います。 \n　　https://github.com/google-research/bert\n　　（手順の共有 とリポジトリやコードの解説をメインにしますので、 実行に関しての\n　　個別フォローは行いません。実 行についてはおまけ程度に考えているので、話の大枠\ n　　の理解を優先いただけたらと思います。）\n\n※ 全体の流れは変えませんが、細かい時間配分は内容踏 まえて変更する可能性があります。\n※ 以下進行にあ たっての参考記事です。\n↓BERT、Transformer etc\nhttps://lib -arts.hatenablog.com/entry/nlp_dl1\n〜\nhttps://lib-arts.hatenablog.com/ entry/nlp_dl8\n\n↓XLNet\nhttps://lib-arts.hatenablog.com/entry/nlp_dl9\ n〜\nhttps://lib-arts.hatenablog.com/entry/nlp_dl12\n\n↓RoBERTa\nhttps ://lib-arts.hatenablog.com/entry/nlp_dl13\n〜\nhttps://lib-arts.hatenabl og.com/entry/nlp_dl17\n\n↓ALBERT\nhttps://lib-arts.hatenablog.com/entry /nlp_dl21\n〜\nhttps://lib-arts.hatenablog.com/entry/nlp_dl24\n\n↓T5\n https://lib-arts.hatenablog.com/entry/nlp_dl26\n〜\nhttps://lib-arts.hat enablog.com/entry/nlp_dl30\n\n↓ERINE\nhttps://lib-arts.hatenablog.com/e ntry/nlp_dl31\nhttps://lib-arts.hatenablog.com/entry/nlp_dl32\n\n会場\n 水道橋駅、神保町駅、九段下駅周辺\n千代田区西神田2- 7-14 YS西神田ビル2F\n\n対象者\n言語処理の基本の理解を 前提としますので、下記の記事の内容を把握している ものとして進行します。\nhttps://lib-arts.hatenablog.com/entry/ nlp_tutorial1\nhttps://lib-arts.hatenablog.com/entry/nlp_tutorial2\nhttps ://lib-arts.hatenablog.com/entry/nlp_tutorial3\nhttps://lib-arts.hatenabl og.com/entry/nlp_tutorial4\nhttps://lib-arts.hatenablog.com/entry/nlp_tut orial5\nhttps://lib-arts.hatenablog.com/entry/nlp_tutorial6\n\n※ 電子 書籍形式の方が良い方は下記よりご購入いただけます ！\nhttps://note.mu/lib_arts/n/n29437a435a8d\n\n講師プロフィール \n東大工学部卒。\nデータ分析/AI開発の仕事の経験は7 年ほどで、理論/開発/ビジネスのどれも経験があり強 い。\nまた、多くの業界のプロジェクトに関わったた めドメイン知識も豊富。\n初心者向けの指導実績も多 く、1\,000名近い。\n\n当日までの準備\n希望者は下記の 公式を元に実行まで行っていただけたらと思いますの で、環境の構築と事前学習\nモデルのダウンロードま で準備として行ってきていただけるとスムーズです。\ nhttps://github.com/google-research/bert\nPython環境(3.6系推奨)とTe nsorFlow（1.12.0で動作確認取ってますが、公式だと1.11.0 で\nテスト済みとされています）のインストールとpre-t rainedモデル(uncased_L-12_H-768_A-12.zip)\nをダウンロードをお 願いします。回線混み合わなければその場でダウンロ ードも可です。\n↓事前学習モデルのリンク（約400MB） \nhttps://storage.googleapis.com/bert_models/2018_10_18/uncased_L-12_H-76 8_A-12.zip\n（話の分量自体多く解説がメインなので、こ ちらの準備ではマストではありません）\nまた下記の スクリプトを用いてGLUEのデータもダウンロードしてお いてください。\nhttps://gist.github.com/W4ngatang/60c2bdb54d156a41 194446737ce03e2e\n\n関連分野について事前知識が欲しい方 は「深層学習による自然言語処理」が非常に良い本な ので、\nこちらに軽く目を通した上での参加を推奨し ます。（1\,3\,5章中心に読むのが良いと思います。）\nh ttps://www.kspub.co.jp/book/detail/1529243.html\nhttps://lib-arts.hatenab log.com/entry/nlp_dl1（1\,3\,5章読解メモ）\nhttps://lib-arts.haten ablog.com/entry/nlp_dl4（4章読解メモ）\n\n費用\n4\,000円（2h ）\n\n※\n・領収書発行の際は事務手数料として追加1\,0 00円のお支払いをよろしくお願いいたします\n\n定員\n8 名（人数に合わせて調整します、別媒体でも募集して いますので申し込み人数は当日参加者数を\n反映しま せん。）\n\nご参加にあたってのお願い\n無断欠席や前 日以降のキャンセルに関しては当日人数読めなくなり 非常に迷惑なので\n基本的に行わないようにお願いし ます。（直前参加は定員的に問題なければ歓迎です！ ）\n体調不良、職務都合、ご家庭の事情などどうして ものケースは別途ご連絡いただくか、\nイベントへの お問い合わせよりご連絡いただけますと嬉しいです。\ n上記がひどいアカウントに関してはブラックリスト処 理を行い以後の参加をお断りさせて\nいただきますの で、その点だけ予めご了承ください。\n（7割以上来れ る前提でのお申し込みと前日以降のキャンセルはメッ セージでのご連絡を\nいただくということだけ気をつ けていただければ大丈夫だと思います）\n\nモチベーシ ョンの高い参加者の方を重視する運営としていきたい と考えています。\nご協力のほど、よろしくお願いい たします。\n\n LOCATION: URL:https://techplay.jp/event/763336?utm_medium=referral&utm_source=ics&utm _campaign=ics END:VEVENT END:VCALENDAR