【勉強会 #1】小型LlamaモデルのTransformerEngineを用いた事前学習の環境構築

日時 : 2024年10月13日(日) 17:00 - 19:00
場所 : Zoom
参加対象者 : どなたでも参加可
参加費 : なし
定員 : 1,000名

イベント概要

Tanuki風の小型LlamaモデルのTransformerEngineを用いた事前学習を、手頃な価格で仕立てられるローカルPCやレンタルクラウド環境上で、Tanukiで使った自動環境構築スクリプトにて環境構築する様子をお見せする、という実演的な勉強会です。

※Tanukiとは松尾研がGENIACで開発したLLMモデルです。
ご覧頂くだけであれば、特に準備物は必要ありません。
（H100×8の1ノードをご用意頂けますと8Bモデルの学習、H100×8の3ノードあればTanuki-8x8Bの学習が可能です。）

想定する参加者と期待される学び

• LLM初中級者
  Tanuki開発で行われた実際の作業の一部を垣間見ることで、LLM開発の実現場をご体感頂けます。
• 小型LLMや次世代Tanukiの開発をお考えの方
  Tanuki開発のエッセンスを全3回程度の実演に詰め込んでお送りします。再現性の確保・公開を目的にしておりますので、計算リソースがあればTanuki相当のLLM開発の一助となる勉強会です。

＊なお、実際のTanuki開発内容の発信を目的にしているため、理論や開発総括に関してはLLM講座または松尾研LLM開発プロジェクト「Tanuki-8x8B」開発成果報告会 Vol.1～3をご覧ください。

東京大学 松尾・岩澤研究室Youtube

タイムテーブル

1. オープニング・今日の説明
2. 開発実施者のモチベーションについて
3. インフラ構築について
4. conda共用環境の作り方
5. スクリプトを逐次説明
6. 注目ポイントの説明（詰まったところ）
7. 質疑応答（実務で詰まっているところ・他のプロジェクトの環境構築）
8. 学習実演
9. 次回予告

なお、本プロジェクトは国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）による、国内の生成AIの開発力を強化するためのプロジェクト「GENIAC（Generative AI Accelerator Challenge）」において、基盤モデル開発に必要な計算資源の提供支援を受けています。

参考リンク

• NEDOの採択を受け、公開型での500億パラメータサイズの大規模言語モデル開発を開始します
• 「GENIAC」プロジェクトの詳細はこちら