PyTorch実装のハンズオンで学ぶBERTの概要と実装

コロナの影響を鑑み、無期限延期とします。

内容概要

BERTとは、2018年10月11日にGoogleが発表した自然言語処理モデルです。
BERTは様々なタスクを解くための事前学習済みモデルであり、汎用性が高く、
精度も良いモデルです。特に、自然言語処理タスク(GLUE等)のTOPはほとんど
BERTをベースにしたモデルになっています。

今回は、そんなBERTの概要や中身の解説、またPytorchによるハンズオンを行います！
ハンズオンにおいてはGoogle Colaboratoryを用いますので、専用のマシンの用意などは
不要で、普段お使いのPCで気軽に参加することができます。
これを機にBERTについて理解を深めていただけたらと思います！！

対象者

・BERTに興味をもっている
・BERTの中身は知りたいけど論文読むのは気が重い
・BERTの使い方を知りたい etc...

対象レベル

・Bag_of_Words、TF-IDF、word2vec等の自然言語処理の基礎を身につけている。
・Deep Learningの全結合、活性化関数等の用語を知っている。
・Pythonの使用経験がある。
・PyTorchを知っている。(必須ではないです。)

開催日程

4/28(火) 20:00 〜 22:00

進め方

19:50 〜 20:00  受付
20:00 〜 21:00  BERTの講義
21:00 〜 22:00  BERTのハンズオン

アジェンダ

・BERTの講義
1. BERTの概要
2. BERTの事前学習タスク
3. BERTの中身

・BERTのハンズオン
4. Pytorchによるハンズオン

会場

水道橋駅、神保町駅、九段下駅周辺
千代田区西神田2-7-14 YS西神田ビル2F

講師プロフィール

東工大大学院卒(数学)。
現在ネイチャーインサイト株式会社にてデータサイエンティストとして働いている。
仕事では主に自然言語処理を使用したデータ分析を行なっている。

↓以下講師より
初のセミナーで至らぬ点はあるかと思いますが、よろしくお願いいたします。

当日のお持物

Google Colaboratoryが使用できるノートPC

事前準備

対象レベルに書いたところまで知識があれば、講義はついていけると思います。
Google Colaboratoryを使用しますので、使用できる状態にしておいてください。

費用

5, 000円

※
領収書発行の際は追加1,000円のお支払いをよろしくお願いいたします。

定員

3名（申し込み人数は参加者数を反映しませんが、最大でも全体の合計で8名を定員とします）

備考

予習を行いたい方向けに以下に参考資料をまとめました。
・言語処理入門
https://lib-arts.booth.pm/items/1655815
・BERTの基本事項
https://lib-arts.booth.pm/items/1834866
・トレンドまとめ(ALBERT、ERNIE、T5など含む)
https://lib-arts.booth.pm/items/1847458

ご参加にあたってのお願い

無断欠席や前日以降のキャンセルに関しては当日人数読めなくなり非常に
迷惑なので基本的に行わないようにお願いします。
体調不良などどうしてものケースは別途ご連絡いただくか、イベントへの
お問い合わせよりご連絡いただけますと嬉しいです。
上記がひどいアカウントに関してはブラックリスト処理を行い以後の参加を
お断りさせていただきますので、その点だけ予めご了承ください。
（7割以上来れる前提でのお申し込みと前日以降のキャンセルはメッセージでの
ご連絡をいただくということだけ気をつけていただければ大丈夫だと思います