BERTの論文の解説と簡易ハンズオンを行うセミナー【実装編】

内容概要

https://techplay.jp/event/734864
上記のセミナーの続編として企画しました。
背景知識や仕組みに重点をおいた解説になっていて、なかなか実装の解説に時間が割けない
ため、より実装の解説に力を入れてお話できればと思います。

https://github.com/google-research/bert
上記がgoogle-researchのリポジトリで、実質的には公式とみなして良さそうなので、
こちらをベースに解説を進めていきます。

TensorFlowの仕様について軽く復習したのちに、実際に内容を読み解いていければと
思います。
https://lib-arts.hatenablog.com/entry/nlp_dl6
https://lib-arts.hatenablog.com/entry/nlp_dl7
https://lib-arts.hatenablog.com/entry/nlp_dl8
↑概論編で解説している内容になるので、上記を踏まえた上で実装の詳細について把握して
いきます。

開催日程

6/23（日）
受付： 12:50〜13:00
講義： 13:00〜15:00

※
途中5分ほどの休憩を設ける予定です。

アジェンダ

1. TensorFlowの簡単な解説＆予備知識(30分)
      計算グラフとTensorBoard
　　model_fnとKeras(Functional API)との関係性
　　具体例に学ぶTensorFlow設計のパターン

2. 概論編の復習(20分)
　　https://lib-arts.hatenablog.com/entry/nlp_dl6
　　https://lib-arts.hatenablog.com/entry/nlp_dl7
　　https://lib-arts.hatenablog.com/entry/nlp_dl8
　　上記を元に概論編で解説した内容やBERTの大まかな内容に関して軽く復習します。

3. コードリーディング(60分)
　　word_embeddingやposition_embeddingsの実装の詳細について
　　attention_layerの中の処理の詳細について
　　↑上記のようなトピックを他にもいくつか選定してコードリーディングを行っていきます。

※ 全体の流れは変えませんが、細かい内容は若干変更する可能性があります。
※ 以下までざっくり掴んでいることをある程度前提にするので、読み流してきていただけると
良いかと思います。（2.で簡単な復習はしますが、復習として進めます。）
https://lib-arts.hatenablog.com/entry/nlp_dl6
https://lib-arts.hatenablog.com/entry/nlp_dl7
https://lib-arts.hatenablog.com/entry/nlp_dl8

会場

水道橋駅、神保町駅、九段下駅周辺
千代田区西神田2-7-14 YS西神田ビル2F

対象者

言語処理の基本の理解を前提としますので、下記の記事の内容を把握しているものとして進行します。
https://lib-arts.hatenablog.com/entry/nlp_tutorial1
https://lib-arts.hatenablog.com/entry/nlp_tutorial2
https://lib-arts.hatenablog.com/entry/nlp_tutorial3
https://lib-arts.hatenablog.com/entry/nlp_tutorial4
https://lib-arts.hatenablog.com/entry/nlp_tutorial5
https://lib-arts.hatenablog.com/entry/nlp_tutorial6

また、概論編の出席または下記の内容の概要把握を前提とします。
https://lib-arts.hatenablog.com/entry/nlp_dl6
https://lib-arts.hatenablog.com/entry/nlp_dl7
https://lib-arts.hatenablog.com/entry/nlp_dl8

講師プロフィール

東大工学部卒。
データ分析/AI開発の仕事の経験は7年ほどで、理論/開発/ビジネスのどれも経験があり強い。
また、多くの業界のプロジェクトに関わったためドメイン知識も豊富。
初心者向けの指導実績も多く、1,000名近い。

当日までの準備

https://lib-arts.hatenablog.com/entry/nlp_dl6
上記を元に軽くコードの動作確認を行っていただけると当日の理解がスムーズになると思います。
ローカル実行を前提とした記事になっていますが、リポジトリ記載の方法でColabでの動作を行う
でも構いません。（解説に極力時間を割くために、個別の動作サポートは行わないので注意してください）

↓マストではありませんが、下記の概論編と合わせて出ていただく方がよいかもしれません。
https://techplay.jp/event/734864

費用

4,000円（初回価格としますので、2回目以降1,000円程度値上げの可能性があります）

※
・領収書発行の際は事務手数料として追加1,000円のお支払いをよろしくお願いいたします

定員

5名（人数に合わせて調整します、別媒体でも募集していますので申し込み人数は当日参加者数を反映しません）

ご参加にあたってのお願い

無断欠席や前日以降のキャンセルに関しては当日人数読めなくなり非常に迷惑なので
基本的に行わないようにお願いします。（直前参加は定員的に問題なければ歓迎です！）
体調不良、職務都合、ご家庭の事情などどうしてものケースは別途ご連絡いただくか、
イベントへのお問い合わせよりご連絡いただけますと嬉しいです。
上記がひどいアカウントに関してはブラックリスト処理を行い以後の参加をお断りさせて
いただきますので、その点だけ予めご了承ください。
（7割以上来れる前提でのお申し込みと前日以降のキャンセルはメッセージでのご連絡を
いただくということだけ気をつけていただければ大丈夫だと思います）

モチベーションの高い参加者の方を重視する運営としていきたいと考えています。
ご協力のほど、よろしくお願いいたします。