松尾研 LLM コミュニティ "Paper & Hacks Vol.20"

本イベントは、原則毎週火曜日20:00から松尾研究室が主催するLLMに関する輪読会 & 実装のオンラインイベントです。

※本イベントは 20:00-21:00 を予定していましたが、内容の追加により 20:00-21:45 に変更させていただきました。（2024/10/02）

対象: 普段から論文を読んでいる/普段からLLMの実装を行なっている方々

レベル: ★★★★☆　(Expert)

【タイムテーブル】

20:00~20:05 オープニング

20:05~20:35 松尾研大規模言語モデル講座第3回 Pre-training 【+α】

20:35~21:35 「スケーリング法則が何故スケーラブルなのか?」

21:35~21:45 クロージング

【イベント詳細】

1, 松尾研大規模言語モデル講座第3回 Pre-training 【+α】

発表者: 川西 発之さん（松尾研大規模言語モデル講座第3回担当）

概要：松尾研大規模言語モデル講座第3回「Pre-training」で取り扱った内容の補足および発展事項について解説いたします。

2, 「スケーリング法則が何故スケーラブルなのか?」

発表者: 余　振軒さん（立教大学人工知能科学研究科, 松尾研大規模言語モデル講座第4回担当）

論文リンク：

• 4+3 Phases of Compute-Optimal Neural Scaling Laws

• Scaling Laws with Vocabulary: Larger Models Deserve Larger Vocabularies

• Mamba: Linear-Time Sequence Modeling with Selective State Spaces

【松尾研LLMコミュニティについて】

松尾研LLMコミュニティは、「大規模言語モデルについて知って学べるオンライン空間」として、東京大学松尾・岩澤研究室が運営するコミュニティです。現在、学生を中心とした7500名以上が、原則無償で参加しています。

松尾研コミュニティへの参加はこちらからお申し込みください。

また、本コミュニティでは様々なセミナーやハンズオンイベント等を定期的に開催しております。是非上記のSlackコミュニティへの参加と併せて、connpass上のグループの登録しイベント開催情報をお待ちください。