【勉強会 #1】小型LlamaモデルのTransformerEngineを用いた事前学習の環境構築

2024/10/13(日)17:00 〜 19:00 開催
ブックマーク
#大規模言語モデル（LLM）, #インフラ, #スクール

イベント内容

【勉強会 #1】小型LlamaモデルのTransformerEngineを用いた事前学習の環境構築

日時 : 2024年10月13日(日) 17:00 - 19:00
場所 : Zoom
参加対象者 : どなたでも参加可
参加費 : なし
定員 : 1,000名

イベント概要

Tanuki風の小型LlamaモデルのTransformerEngineを用いた事前学習を、手頃な価格で仕立てられるローカルPCやレンタルクラウド環境上で、Tanukiで使った自動環境構築スクリプトにて環境構築する様子をお見せする、という実演的な勉強会です。

※Tanukiとは松尾研がGENIACで開発したLLMモデルです。
ご覧頂くだけであれば、特に準備物は必要ありません。
（H100×8の1ノードをご用意頂けますと8Bモデルの学習、H100×8の3ノードあればTanuki-8x8Bの学習が可能です。）

想定する参加者と期待される学び

  • LLM初中級者
    Tanuki開発で行われた実際の作業の一部を垣間見ることで、LLM開発の実現場をご体感頂けます。
  • 小型LLMや次世代Tanukiの開発をお考えの方
    Tanuki開発のエッセンスを全3回程度の実演に詰め込んでお送りします。再現性の確保・公開を目的にしておりますので、計算リソースがあればTanuki相当のLLM開発の一助となる勉強会です。

＊なお、実際のTanuki開発内容の発信を目的にしているため、理論や開発総括に関してはLLM講座または松尾研LLM開発プロジェクト「Tanuki-8x8B」開発成果報告会 Vol.1～3をご覧ください。

東京大学 松尾・岩澤研究室Youtube

タイムテーブル

  1. オープニング・今日の説明
  2. 開発実施者のモチベーションについて
  3. インフラ構築について
  4. conda共用環境の作り方
  5. スクリプトを逐次説明
  6. 注目ポイントの説明（詰まったところ）
  7. 質疑応答（実務で詰まっているところ・他のプロジェクトの環境構築）
  8. 学習実演
  9. 次回予告

なお、本プロジェクトは国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）による、国内の生成AIの開発力を強化するためのプロジェクト「GENIAC（Generative AI Accelerator Challenge）」において、基盤モデル開発に必要な計算資源の提供支援を受けています。

参考リンク

注意事項

※ こちらのイベント情報は、外部サイトから取得した情報を掲載しています。
※ 掲載タイミングや更新頻度によっては、情報提供元ページの内容と差異が発生しますので予めご了承ください。
※ 最新情報の確認や参加申込手続き、イベントに関するお問い合わせ等は情報提供元ページにてお願いします。
情報提供元ページ（connpass）へ

新規会員登録

このイベントに申し込むには会員登録が必要です。
アカウント登録済みの方はログインしてください。

※ ソーシャルアカウントで登録するとログインが簡単に行えます。

※ 連携したソーシャルアカウントは、会員登録完了後にいつでも変更できます。

関連するイベント