NN論文を肴に酒を飲む会 #12 オンライン！

お酒を飲みながら、最近の深層学習関連の論文をゆる〜く紹介し、ゆる〜く議論する会です。
「機械学習とか深層学習とか気になっているけど論文読むとか実装するとかきついな」という方々に参加いただいて、色々議論できるといいなと考えています。

普段あまり論文を読まない方や学生さんも、どしどしご応募ください。

今回は昨今の状況を考え、オンラインイベントとさせていただきます。イベントへの参加方法については、後日参加者の皆さんにメールさせていただく予定です。

今回のテーマは「GPT-n」

発表者には、Generative Pre-trained Transformer 通称 GPTシリーズに関する論文を紹介して頂きます。

GPTはOpen AIによって開発されている、大規模なデータを大規模なモデルでPre-trainさせた言語生成モデルです。2019年にGPT-2が発表されたときは生成する文章が人間が書いたものと全く見分けがつかないと大きく話題になりましたが、今年はそのバージョンアップであるGPT-3が発表されました。現在APIのみが利用できますがその性能が凄まじく、自然言語で指示した通りのデザインやアプリのコードを生成するなど、これまででは考えられないようなデモが様々なページで公開されており、ML界隈ではホットなトレンドとなっております。参考資料にあげているようなGPTシリーズの論文はもちろんですが、根本となるモデルのTransformerに関する論文でもWelcomeです！

発表者も「ガチ勢」である必要はありません。これを機に論文読めるようになりたい！という方も大歓迎。 一度発表していただくと次回以降優先的に参加できますので、是非発表してください。

ゆるふわ枠について

以前の飲み会で「論文読むの初心者なので、20分だと長過ぎるし、本気の質問がくるとドキドキしてしまう」というフィードバックをいただきましたので、以下のような「ゆるふわ枠」を設定しています。できるだけ気軽に登壇できる雰囲気を作りたいと思いますので、ぜひ発表にチャレンジしてみてください。

1. 論文発表に慣れていない方優先
2. 深層学習関連という以外、テーマは絞らない(今回の場合、GPTとは関係のないテーマでもOKです。できれば自然言語だと嬉しいです。)
3. 発表時間は通常の半分の10分
4. 論文を読みきれなくてもOK。わからなかったところは参加者に質問してください。 (これは通常の発表枠でもOKです)

参考資料

どこで論文を探したらよいかわからないという方は下記のリンクを参考にしていただければと思います。

GPTシリーズに関する論文

• Improving Language Understanding by Generative Pre-Training
• Language Models are Unsupervised Multitask Learners
• Language Models are Few-Shot Learners

タイムスケジュール

飲み会なので、大幅に前後することがあります

TFUG について

TensorFlow User Group (TFUG) は有志による TensorFlow のコミュニティです。

TensorFlow を使っている人、他のフレームワークを使っているけれど TensorFlow にも興味がある人、現在 TensorFlow を使っていないけれど興味がある人など、所属や肩書は問わず、様々なバックグラウンドを持つ人に参加して頂けると嬉しいです。

• ウェブサイト: http://tfug.jp
• slack: tfug.slack.com
• Facebook グループ: https://www.facebook.com/groups/178559235921208/

行動規範

TFUG は以下の行動規範に従います。

https://tfug.jp/policy.html

諸注意

• イベントの様子を撮影・録画し、ブログやSNSなどで公開することがあります。その際、来場者の姿も公開されることがあることをご了承ください。