【勉強会 #2】小型LlamaモデルのMegatron-LMを用いた事前学習と継続事前学習

日時 : 2024年10月27日(日) 17:00 - 19:00
場所 : Zoom
参加対象者 : どなたでも参加可
参加費 : なし
定員 : 1,000名

イベント概要

Tanuki風小型LlamaモデルのMegatron-LMを用いた事前学習と継続事前学習を、手頃な価格で仕立てられるローカルPCやレンタルクラウド環境上で、自動環境構築スクリプトにて環境構築する様子をお見せする、という実演的な勉強会です。

※Tanukiとは松尾研がGENIACで開発したLLMモデルです。
ご覧頂くだけであれば、特に準備物は必要ありません。
（H100×8の1ノードをご用意頂けますと8Bモデルの学習、H100×8の3ノードあればTanuki-8x8Bの学習が可能です。）

本イベントはイベント終了後に松尾研公式YouTubeでアーカイブ動画を公開予定です。残念ながら当日ライブで参加頂けない方でも、connpassに参加登録を頂いていれば、動画公開のタイミングでconnpassのメール機能にてお知らせいたします。

想定する参加者と期待される学び

• LLM初中級者
  Tanuki開発で行われた実際の作業の一部を垣間見ることで、LLM開発の実現場をご体感頂けます。
• 小型LLMや次世代Tanukiの開発をお考えの方
  Tanuki開発のエッセンスを全3回程度の実演に詰め込んでお送りします。再現性の確保・公開を目的にしておりますので、計算リソースがあればTanuki相当のLLM開発の一助となる勉強会です。

＊なお、実際のTanuki開発内容の発信を目的にしているため、理論や開発総括に関してはLLM講座または松尾研LLM開発プロジェクト「Tanuki-8x8B」開発成果報告会 Vol.1～3をご覧ください。

東京大学 松尾・岩澤研究室Youtube

タイムテーブル

1. オープニング・自己紹介
2. トークナイザーの学習について
3. 事前学習
4. 継続事前学習
5. 質疑
6. クロージング

参考リンク

• NEDOの採択を受け、公開型での500億パラメータサイズの大規模言語モデル開発を開始します
• 「GENIAC」プロジェクトの詳細はこちら