松尾研LLMコミュニティ【Paper&Hacks#27】FlashAttentionとMoEのしくみ

本イベントは、原則毎週火曜日20:00から松尾研究室が主催するLLMに関する輪読会 & 実装のオンラインイベントです。

イベント概要

対象: 普段から論文を読んでいる/普段からLLMの実装を行なっている方々

レベル: ★★★★☆　(Expert)

発表者: 松尾研LLMコミュニティメンバー 坂本 航太郎（東京大学 松尾研究室 特任研究員、松尾研大規模言語モデル講座 第8回講師）

テーマ: Flash AttentionとMoEのしくみ

論文リンク：

• Flash Attentionの論文：FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness

• （参考）Flash Attention2の論文：FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning

• MoE：A Survey on Mixture of Experts

松尾研LLMコミュニティについて

松尾研LLMコミュニティは、「大規模言語モデルについて知って学べるオンライン空間」として、東京大学松尾・岩澤研究室が運営するコミュニティです。現在、学生を中心とした7500名以上が、原則無償で参加しています。

松尾研コミュニティへの参加はこちらからお申し込みください。

また、本コミュニティでは様々なセミナーやハンズオンイベント等を定期的に開催しております。是非上記のSlackコミュニティへの参加と併せて、connpass上のグループの登録しイベント開催情報をお待ちください。

松尾研LLMコミュニティの各種リンクはこちら；

• 今後のイベント開催情報/参加申込；こちら

• 松尾研LLMコミュニティ参加フォーム；こちら

• 過去イベントアーカイブ（Youtube）；こちら

その他

• 2025年4月開講予定の「深層学習 DeepLearning基礎講座」の事前予約を開始しています。予約フォームはこちら