BEGIN:VCALENDAR VERSION:2.0 PRODID:-//https://techplay.jp//JP CALSCALE:GREGORIAN METHOD:PUBLISH X-WR-CALDESC:BERT・XLNetの論文の解説と簡易ハンズオンを行 うセミナー X-WR-CALNAME:BERT・XLNetの論文の解説と簡易ハンズオンを行 うセミナー X-WR-TIMEZONE:Asia/Tokyo BEGIN:VTIMEZONE TZID:Asia/Tokyo BEGIN:STANDARD DTSTART:19700101T000000 TZOFFSETFROM:+0900 TZOFFSETTO:+0900 TZNAME:JST END:STANDARD END:VTIMEZONE BEGIN:VEVENT UID:741701@techplay.jp SUMMARY:BERT・XLNetの論文の解説と簡易ハンズオンを行うセ ミナー DTSTART;TZID=Asia/Tokyo:20190806T200000 DTEND;TZID=Asia/Tokyo:20190806T220000 DTSTAMP:20260426T024246Z CREATED:20190716T142927Z DESCRIPTION:イベント詳細はこちら\nhttps://techplay.jp/event/74170 1?utm_medium=referral&utm_source=ics&utm_campaign=ics\n\n内容概要\n\n ここ最近BERTについてご質問いただくことが多いので企 画させていただきました。\nhttps://arxiv.org/abs/1810.04805\nB ERTは言語処理の事前学習（pre-trained）モデルとして役 に立つのではということで\n注目を浴びています。\n\n 今回は基礎知識〜トレンド〜論文の読解＆TensorFlow実装 を実際に動かし、簡単に実装の流れを掴みます。\nWord2 Vec、Seq2Seq、Transformerなどに触れながらBERTまで話をつな げていければと思います。\n\n※\n内容としては5/7、5/28 、6/16、7/16に実施したものと同様の範囲で実施します が、XLNetの内容を\n少しだけ追加します。\nhttps://ml-for-e xperts.connpass.com/event/136715/\n新規で内容を追加するので 、1\,000円値上げし5\,000円での実施とさせていただきま す。\n（これまで参加したことのある方は2枠限定で2\,0 00円で参加できるようにいたしました！！）\n\n\n開催 日程\n\n8/6（火）\n受付： 19:50〜20:00\n講義： 20:00〜22:00\ n\n※\n途中5分ほどの休憩を設ける予定です。\n\n\nアジ ェンダ\n\n1. 言語処理の概論の復習＆予備知識(30分)\n BoWとWord2Vec（局所表現と分散表現）\n　　言語モデル とニューラル言語モデル\n　　Seq2Seq（系列変換モデル ）とEncoder-Decoder etc\n\n2. 論文を元にした解説(40分)\n　 　Transformer[2017]\n　　BERT[2018]\n　　XLNet[2019] <- 簡単な 概要の解説を追加します。\n\n3. 実装例を元にしたハン ズオン(40分)\n　　下記を元にサンプルのrun_classifier.py を実行と公式実装の簡単な解説を行います。\n　　https ://github.com/google-research/bert\n　　（手順の共有とリポジ トリやコードの解説をメインにしますので、実行に関 しての\n　　個別フォローは行いません。実行につい てはおまけ程度に考えているので、話の大枠\n　　の 理解を優先いただけたらと思います。）\n\n※ 全体の 流れは変えませんが、細かい時間配分は内容踏まえて 変更する可能性があります。\n※ 以下進行にあたって の参考記事です（もう少し追記やXLNetを新規で書く予 定です）\nhttps://lib-arts.hatenablog.com/entry/nlp_dl1\nhttps://lib- arts.hatenablog.com/entry/nlp_dl2\nhttps://lib-arts.hatenablog.com/entry/ nlp_dl3\nhttps://lib-arts.hatenablog.com/entry/nlp_dl4\nhttps://lib-arts. hatenablog.com/entry/nlp_dl5\nhttps://lib-arts.hatenablog.com/entry/nlp_d l6\nhttps://lib-arts.hatenablog.com/entry/nlp_dl7\nhttps://lib-arts.haten ablog.com/entry/nlp_dl8\nhttps://lib-arts.hatenablog.com/entry/nlp_dl9\nh ttps://lib-arts.hatenablog.com/entry/nlp_dl10\n\n\n会場\n\n水道橋駅 、神保町駅、九段下駅周辺\n千代田区西神田2-7-14 YS西 神田ビル2F\n\n\n対象者\n\n言語処理の基本の理解を前提 としますので、下記の記事の内容を把握しているもの として進行します。\nhttps://lib-arts.hatenablog.com/entry/nlp_tu torial1\nhttps://lib-arts.hatenablog.com/entry/nlp_tutorial2\nhttps://lib -arts.hatenablog.com/entry/nlp_tutorial3\nhttps://lib-arts.hatenablog.com /entry/nlp_tutorial4\nhttps://lib-arts.hatenablog.com/entry/nlp_tutorial5 \nhttps://lib-arts.hatenablog.com/entry/nlp_tutorial6\n\n\n講師プロ フィール\n\n東大工学部卒。\nデータ分析/AI開発の仕事 の経験は7年ほどで、理論/開発/ビジネスのどれも経験 があり強い。\nまた、多くの業界のプロジェクトに関 わったためドメイン知識も豊富。\n初心者向けの指導 実績も多く、1\,000名近い。\n\n\n当日までの準備\n\n希望 者は下記の公式を元に実行まで行っていただけたらと 思いますので、環境の構築と事前学習\nモデルのダウ ンロードまで準備として行ってきていただけるとスム ーズです。\nhttps://github.com/google-research/bert\nPython環境(3. 6系推奨)とTensorFlow（1.12.0で動作確認取ってますが、公 式だと1.11.0で\nテスト済みとされています）のインス トールとpre-trainedモデル(uncased_L-12_H-768_A-12.zip)\nをダウ ンロードをお願いします。回線混み合わなければその 場でダウンロードも可です。\n↓事前学習モデルのリ ンク（約400MB）\nhttps://storage.googleapis.com/bert_models/2018_10_ 18/uncased_L-12_H-768_A-12.zip\n（話の分量自体多く解説がメ インなので、こちらの準備ではマストではありません ）\nまた下記のスクリプトを用いてGLUEのデータもダウ ンロードしておいてください。\nhttps://gist.github.com/W4nga tang/60c2bdb54d156a41194446737ce03e2e\n\n関連分野について事前 知識が欲しい方は「深層学習による自然言語処理」が 非常に良い本なので、\nこちらに軽く目を通した上で の参加を推奨します。（1\,3\,5章中心に読むのが良いと 思います。）\nhttps://www.kspub.co.jp/book/detail/1529243.html\n\n\ n費用\n\n5\,000円（5/7、5/28、6/16、7/16参加の方は2\,000円 ）\n\n※\n・領収書発行の際は事務手数料として追加1\,0 00円のお支払いをよろしくお願いいたします\n\n\n定員\n \n10名（人数に合わせて調整します、別媒体でも募集し ていますので申し込み人数は当日参加者数を反映しま せん）\n\n\nご参加にあたってのお願い\n\n無断欠席や前 日以降のキャンセルに関しては当日人数読めなくなり 非常に迷惑なので\n基本的に行わないようにお願いし ます。（直前参加は定員的に問題なければ歓迎です！ ）\n体調不良、職務都合、ご家庭の事情などどうして ものケースは別途ご連絡いただくか、\nイベントへの お問い合わせよりご連絡いただけますと嬉しいです。\ n上記がひどいアカウントに関してはブラックリスト処 理を行い以後の参加をお断りさせて\nいただきますの で、その点だけ予めご了承ください。\n（7割以上来れ る前提でのお申し込みと前日以降のキャンセルはメッ セージでのご連絡を\nいただくということだけ気をつ けていただければ大丈夫だと思います）\n\nモチベーシ ョンの高い参加者の方を重視する運営としていきたい と考えています。\nご協力のほど、よろしくお願いい たします。\n\n LOCATION: URL:https://techplay.jp/event/741701?utm_medium=referral&utm_source=ics&utm _campaign=ics END:VEVENT END:VCALENDAR