目的

LLM(大規模言語モデル)の論文をじっくり読みたいけど機会がない。時間が取れない。 そんな方向けに発表の機会をつくることで、論文をじっくり読む時間を「半ば強制的に」つくることを目的とした会です。 また、他の方の発表を聞くことで、自分が読み込んでいない論文も一歩踏み込んで理解することができます。

アカデミックな場ではありません。あくまでもカジュアルに自分の論文読み成果を発表する場となります。

場所、時間

Discord ボイスチャンネルで行います。 ノーカメラポリシーです。(顔出しなし)

8/13(日) 15:00～17:00

論文を片手に、みんなで優雅なティータイムをしましょう。

発表スタイルの都合上、少人数です。とりあえず6人までとしていますが、増員の可能性もあります。

発表が必須な会ということもあり、参加は先着順ではなく、指名制とさせていただいております。ご了承ください。

参加に必要なこと

1) 参加者全員、各自が選んだ論文を読み込んだうえでスライドを用意し、10分枠+質疑応答の発表をしていただきます。

2) スライドは「1枚の縦長PDF」とし、スクロールして使うような作りとしてください。 （ポスターセッションを想像してください。）

3) スライドは、数式や理論を100%正確に追わなくて構いません。 参加者のみんなが聞いて面白く、一歩踏み込んだ理解ができるよう、いわば直感的な理解を助けるような構成としてください。 （参考文献：長沼 伸一郎著『物理数学の直観的方法』）

このあたりの論文が読みたい

だいたい、このあたりの分野の論文をテーマにしています。

（学習、推論、モデル、データセットetc...）

• Megatron
• DeepSpeed 系列の論文
• SWARM
• LoRA
• QLoRA
• ReLoRA
• LLM.int8()
• FlashAttention(1, 2)
• PagedAttention
• RoPE
• RetNet
• Hyena
• Llama, Llama2 の学習 / データセット回り
• Textbook is All You Need

主催

https://twitter.com/_kaiinui

質問があればリプライ, DMください！