BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//https://techplay.jp//JP
CALSCALE:GREGORIAN
METHOD:PUBLISH
X-WR-CALDESC:関連論文とTensorFlow実装で理解するTransformer・BE
 RTハンズオン
X-WR-CALNAME:関連論文とTensorFlow実装で理解するTransformer・BE
 RTハンズオン
X-WR-TIMEZONE:Asia/Tokyo
BEGIN:VTIMEZONE
TZID:Asia/Tokyo
BEGIN:STANDARD
DTSTART:19700101T000000
TZOFFSETFROM:+0900
TZOFFSETTO:+0900
TZNAME:JST
END:STANDARD
END:VTIMEZONE
BEGIN:VEVENT
UID:767464@techplay.jp
SUMMARY:関連論文とTensorFlow実装で理解するTransformer・BERTハ
 ンズオン
DTSTART;TZID=Asia/Tokyo:20200208T160000
DTEND;TZID=Asia/Tokyo:20200208T180000
DTSTAMP:20260522T081341Z
CREATED:20200116T063947Z
DESCRIPTION:イベント詳細はこちら\nhttps://techplay.jp/event/76746
 4?utm_medium=referral&utm_source=ics&utm_campaign=ics\n\n内容概要\nht
 tps://techplay.jp/event/763336\n上記のセミナーの分量が多く
 なり過ぎて2時間で取り扱えなくなったので、二つに\n
 分けて実施していきます。\n\n今回は前編ということで
 、Transformerにおいて用いられている中でなかなか理解
 が\nしづらいself-attentionの内容を中心に研究トレンドの
 把握を行ったのちに、BERTの\n実装などを見て中身を理
 解していきます。\n\n後編は下記で実施しますので、BER
 T以後の研究トレンドにご興味おありの方は下記も\nご
 検討いただけますと嬉しいです。\nhttps://techplay.jp/event/
 767465\n\n開催日程\n2/8（土）\n受付： 15:50〜16:00\n講義： 
 16:00〜18:00\n\n※ 途中5分ほどの休憩を設ける予定です。
 \n※ 15:45より前の入室は原則としてお断りします。\n\n
 アジェンダ\n1. 言語処理の概論の復習＆予備知識(20分)\
 n　　BoWとWord2Vec（局所表現と分散表現）\n　　言語モ
 デルとニューラル言語モデル\n　　Seq2Seq（系列変換モ
 デル）とEncoder-Decoder  etc\n\n2. 論文を元にした解説(50分)
 \n　　Neural Machine Translation by Jointly Learning to Align and Trans
 late[2014]\n　　A Decomposable Attention Model for Natural Language Inf
 erence[2016]\n　　A Structured Self-attentive Sentence Embedding[2017]\
 n　　Transformer[2017] \n　　BERT[2018]\n\n3. 実装例を元にし
 たハンズオン(40分)\n　　下記を元にサンプルのrun_classi
 fier.pyを実行と公式実装の簡単な解説を行います。\n　
 　https://github.com/google-research/bert\n　　（手順の共有と
 リポジトリやコードの解説をメインにしますので、実
 行に関しての\n　　個別フォローは行いません。実行
 についてはおまけ程度に考えているので、話の大枠\n
 　　の理解を優先いただけたらと思います。）\n\n※ 
 全体の流れは変えませんが、細かい時間配分は内容踏
 まえて変更する可能性があります。\n※ 以下進行にあ
 たっての参考記事です。\n↓BoWとWord2vec\nhttps://lib-arts.ha
 tenablog.com/entry/nlp_tutorial1\nhttps://lib-arts.hatenablog.com/entry/n
 lp_tutorial3\n\n↓self-attentionについて\nhttps://lib-arts.hatenablo
 g.com/entry/nlp_dl35\n〜\nhttps://lib-arts.hatenablog.com/entry/nlp_dl38
 \n\n\n↓ハンズオンの概要（下記を動かします）\nhttps://
 lib-arts.hatenablog.com/entry/nlp_dl6\n\n↓TensorFlow実装の解説\nht
 tps://lib-arts.hatenablog.com/entry/nlp_dl7\nhttps://lib-arts.hatenablog.
 com/entry/nlp_dl8\n\n会場\n水道橋駅、神保町駅、九段下駅
 周辺\n千代田区西神田2-7-14 YS西神田ビル2F\n\n対象者\n言
 語処理の基本の理解を前提としますので、下記の記事
 の内容を把握しているものとして進行します。\nhttps://
 lib-arts.hatenablog.com/entry/nlp_tutorial1\nhttps://lib-arts.hatenablog.
 com/entry/nlp_tutorial2\nhttps://lib-arts.hatenablog.com/entry/nlp_tutori
 al3\nhttps://lib-arts.hatenablog.com/entry/nlp_tutorial4\nhttps://lib-art
 s.hatenablog.com/entry/nlp_tutorial5\nhttps://lib-arts.hatenablog.com/ent
 ry/nlp_tutorial6\n\n※ 電子書籍形式の方が良い方は下記よ
 りご購入いただけます！\nhttps://note.mu/lib_arts/n/n29437a435a
 8d\n\n講師プロフィール\n東大工学部卒。\nデータ分析/AI
 開発の仕事の経験は7年ほどで、理論/開発/ビジネスの
 どれも経験があり強い。\nまた、多くの業界のプロジ
 ェクトに関わったためドメイン知識も豊富。\n初心者
 向けの指導実績も多く、1\,000名近い。\n\n当日までの準
 備\n希望者は下記の公式を元に実行まで行っていただ
 けたらと思いますので、環境の構築と事前学習\nモデ
 ルのダウンロードまで準備として行ってきていただけ
 るとスムーズです。\nhttps://github.com/google-research/bert\nPyt
 hon環境(3.6系推奨)とTensorFlow（1.12.0で動作確認取ってま
 すが、公式だと1.11.0で\nテスト済みとされています）
 のインストールとpre-trainedモデル(uncased_L-12_H-768_A-12.zip)
 \nをダウンロードをお願いします。回線混み合わなけ
 ればその場でダウンロードも可です。\n↓事前学習モ
 デルのリンク（約400MB）\nhttps://storage.googleapis.com/bert_mod
 els/2018_10_18/uncased_L-12_H-768_A-12.zip\n（話の分量自体多く
 解説がメインなので、こちらの準備ではマストではあ
 りません）\nまた下記のスクリプトを用いてGLUEのデー
 タもダウンロードしておいてください。\nhttps://gist.gith
 ub.com/W4ngatang/60c2bdb54d156a41194446737ce03e2e\n\n関連分野につ
 いて事前知識が欲しい方は「深層学習による自然言語
 処理」が非常に良い本なので、\nこちらに軽く目を通
 した上での参加を推奨します。（1\,3\,5章中心に読むの
 が良いと思います。）\nhttps://www.kspub.co.jp/book/detail/15292
 43.html\nhttps://lib-arts.hatenablog.com/entry/nlp_dl1（1\,3\,5章読解
 メモ）\nhttps://lib-arts.hatenablog.com/entry/nlp_dl4（4章読解メ
 モ）\n\n費用\n5\,000円（2h）\n\n※ 関連セミナー(19/5/7、5/
 28、6/16、7/16、8/6、8/18、9/9、10/8、11/11、12/11、\n20/1/15)
 の参加者の方は3\,000円とします。\n※ 領収書発行の際
 は事務手数料として追加1\,000円のお支払いをよろしく
 お願いいたします\n\n定員\n8名（人数に合わせて調整し
 ます、別媒体でも募集していますので申し込み人数は
 当日参加者数を\n反映しません。）\n\nご参加にあたっ
 てのお願い\n無断欠席や前日以降のキャンセルに関し
 ては当日人数読めなくなり非常に迷惑なので\n基本的
 に行わないようにお願いします。（直前参加は定員的
 に問題なければ歓迎です！）\n体調不良、職務都合、
 ご家庭の事情などどうしてものケースは別途ご連絡い
 ただくか、\nイベントへのお問い合わせよりご連絡い
 ただけますと嬉しいです。\n上記がひどいアカウント
 に関してはブラックリスト処理を行い以後の参加をお
 断りさせて\nいただきますので、その点だけ予めご了
 承ください。\n（7割以上来れる前提でのお申し込みと
 前日以降のキャンセルはメッセージでのご連絡を\nい
 ただくということだけ気をつけていただければ大丈夫
 だと思います）\n\nモチベーションの高い参加者の方を
 重視する運営としていきたいと考えています。\nご協
 力のほど、よろしくお願いいたします。\n\n
LOCATION:
URL:https://techplay.jp/event/767464?utm_medium=referral&utm_source=ics&utm
 _campaign=ics
END:VEVENT
END:VCALENDAR