Transformer: Attention Is All You Need ｜論文輪読会

勉強会内容概要

一次的な情報源を読む機会にできればということで論文輪読会を企画させていただいています。
専門職以外の方にとってもなるべく費用対効果の高いものを選定したいなと考えました結果、最新の
ものというよりは、後の研究にインパクトを与えたという視点で論文を選定できればと考えています。
ですので、専門職以外の方でも知っておいて損はない内容になるのかなと思っています。
（ベースを抑えれば最先端はある程度推測できますし、専門家と話す上でも齟齬が生じにくいです）

第26回目としては、系列モデリングに関する"Transformer: Attention Is All You Need"
について取り扱います。
https://arxiv.org/abs/1706.03762
https://arxiv.org/pdf/1706.03762.pdf

進め方としては、毎回30分程度担当者が精読にあたって読んできた内容について解説し、それを元に
様々な意見交換やディスカッションを行えればと考えています。
発表に関して重視しているポイントとしては、概要の説明ではなく精読にあたってこの表現が引っかかる
だったり、この表現はこの研究を示唆しているだったりなどの文脈を読み解く手助けになるようにという
点です。メタ情報については有名論文であれば探せば多く見つかるので、むしろ表現一つ一つを丁寧に
精読するというのが発表の第一義の目的になります。
（あくまで発表にあたっての指針なので、発表以外のディスカッションにおいては自由に意見交換
いただく形で構いません）

開催日程

6/19(水)
受付：19:50〜20:00
自己紹介：20:00〜20:10
勉強会：20:10〜21:30

会場

水道橋駅、神保町駅、九段下駅周辺
千代田区西神田2-7-14 YS西神田ビル2F

タイムテーブル

◆論文の精読にあたっての簡単な解説（30min）

◆解説内容の質疑応答＆ディスカッション（50min）
基本的にはフリーで質疑応答やディスカッションができればと思います。

※ ご都合よろしい方いたら終わった後会場もしくは近くの居酒屋で軽い懇親会をできればと思います。

参加費

中級者以上：　1,000円（会場代）
初心者　　：　3,000円（会場代+サポート費）

※ 
参加費は基本会場代になります。
中級者以上のレベル感としては、ニューラルネットワークやCNNについて概要を把握しているという
ところに置きたいと思っています。微積や行列積、最適化の基本の理解を前提とします。
（あくまで進行をスムーズにするための便宜的な定義なので、一般的な意味合いはないです。基礎的な
理解を前提としたいだけなので、実務経験などは特に問いません）

定員

3名（集まり具合に合わせて調整します、別媒体でも募集していますので参加者人数を反映しません）

準備について

発表者2時間、参加者30分程度の準備を前提とした進行とします。
（初回参加時など勝手がわからない際はそのまま来ていただいても大丈夫です！）

これまで取り扱った論文リスト

#1 AlexNet
#2 GoogleNet
#3 ResNet
#4 VGG
#5 Faster R-CNN
#6 SSD
#7 DQN
#8 TRPO
#9 WaveNet
#10 MobileNets
#11 GAN
#12 DCGAN
#13 Adam
#14 FCN
#15 U-Net
#16 Xception
#17 BatchNormalization
#18 RetinaNet
#19 YOLO
#20 Seq2Seq
#21 VAE
#22 Grad-CAM
#23 Adversarial Examples
#24 mixup
#25 SRCNN

ご参加にあたってのお願い

無断欠席や前日以降のキャンセルに関しては当日人数読めなくなり非常に迷惑なので
基本的に行わないようにお願いします。（直前参加は定員的に問題なければ歓迎です！）
体調不良、職務都合、ご家庭の事情などどうしてものケースは別途ご連絡いただくか、
イベントへのお問い合わせよりご連絡いただけますと嬉しいです。
上記がひどいアカウントに関してはブラックリスト処理を行い以後の参加をお断りさせて
いただきますので、その点だけ予めご了承ください。
（7割以上来れる前提でのお申し込みと前日以降のキャンセルはメッセージでのご連絡を
いただくということだけ気をつけていただければ大丈夫だと思います）

モチベーションの高い参加者の方を重視する運営としていきたいと考えています。
ご協力のほど、よろしくお願いいたします。

備考

全然間に合ってないですがこれまでの開催内容まとめてますので参考として見ていただけたらと
思います〜。ところどころ省略してますが、若干忘れてるところもあるので後日見直したいと
思います。
https://lib-arts.hatenablog.com/archive/category/paper