【オンライン】PyTorch実装のハンズオンで学ぶBERTの概要と実装

内容概要

BERTとは、2018年10月11日にGoogleが発表した自然言語処理モデルです。
BERTは様々なタスクを解くための事前学習済みモデルであり、汎用性が高く、
精度も良いモデルです。特に、自然言語処理タスク(GLUE等)のTOPはほとんど
BERTをベースにしたモデルになっています。

今回は、そんなBERTの概要や中身の解説、またPytorchによるハンズオンを行います！
ハンズオンにおいてはGoogle Colaboratoryを用いますので、専用のマシンの用意などは
不要で、普段お使いのPCで気軽に参加することができます。
これを機にBERTについて理解を深めていただけたらと思います！！

対象者

・BERTに興味をもっている
・BERTの中身は知りたいけど論文読むのは気が重い
・BERTの使い方を知りたい etc...

対象レベル

・Bag_of_Words、TF-IDF、word2vec等の自然言語処理の基礎を身につけている。
・Deep Learningの全結合、活性化関数等の用語を知っている。
・Pythonの使用経験がある。
・PyTorchを知っている。(必須ではないです。)

開催日程

8/6(木) 20:00 〜 22:00

進め方

19:50 〜 20:00  受付
20:00 〜 21:00  BERTの講義
21:00 〜 22:00  BERTのハンズオン

アジェンダ

・BERTの講義
1. BERTの概要
2. BERTの事前学習タスク
3. BERTの中身

・BERTのハンズオン
4. PyTorchによるハンズオン

会場

オンライン開催とします。Zoomを使用します。
詳細は前日にメッセージでお送りします。
参加にあたっては、支払いの際の注文番号を控えておいてください。

講師プロフィール

東工大大学院卒(数学)。
現在分析会社にてデータサイエンティストとして働いている。
仕事では主に自然言語処理を使用したデータ分析を行なっている。

当日のお持物

・Google Colaboratoryが使用できるノートPC
・Zoomのインストールだけお願いいたします

事前準備

対象レベルに書いたところまで知識があれば、講義はついていけると思います。
Google Colaboratoryを使用しますので、使用できる状態にしておいてください。

費用

・3,000円 (8/4までに支払いが確認できる場合)
・4,000円 (8/5以降の支払いの場合)
・5,000円 (受講後支払いの場合)

※ 領収書発行の際は事務手数料として追加1,000円のお支払いをよろしくお願いいたします
※ 決済は下記より「PyTorchハンズオン資料販売」の購入をお願いします。（追加費用がかかる際はBOOSTで追加ください。）
https://lib-arts.booth.pm/items/1834866

※ キャンセルにつきましては返金はできませんが、金額分のテキストの送付または、1か月以内の
別講座への参加が可能です。
↓テキストは下記より選ぶことができます。
https://lib-arts.booth.pm/items/1912668

定員

7名（人数に合わせて調整します、申し込み人数は参加者人数を反映しません）

備考

予習を行いたい方向けに以下に参考資料をまとめました。
・言語処理入門
https://lib-arts.booth.pm/items/1655815
・BERTの基本事項
https://lib-arts.booth.pm/items/1834866
・トレンドまとめ(ALBERT、ERNIE、T5など含む)
https://lib-arts.booth.pm/items/1847458