【勉強会 #3】小型LlamaモデルのTRLライブラリを用いた事後学習

2024/11/24(日)17:00 〜 19:00 開催
ブックマーク
#大規模言語モデル（LLM）, #スクール, #機械学習

イベント内容

【勉強会 #3】小型LlamaモデルのTRLライブラリを用いた事後学習

日時 : 2024年11月24日(日) 17:00 - 19:00
場所 : Zoom
参加対象者 : どなたでも参加可
参加費 : なし
定員 : 1,000名

イベント概要

TanukiモデルのTRLライブラリを用いた事後学習を、手頃な価格で仕立てられるローカルPCやレンタルクラウド環境上で、動作検証をするという実演的な勉強会です。

※Tanukiとは松尾研がGENIACで開発したLLMモデルです。
ご覧頂くだけであれば、特に準備物は必要ありません。
（H100×8の1ノードをご用意頂けますと8Bモデルの学習、H100×8の3ノードあればTanuki-8x8Bの学習が可能です。）

本イベントはイベント終了後に松尾研公式YouTubeでアーカイブ動画を公開予定です。残念ながら当日ライブで参加頂けない方でも、connpassに参加登録を頂いていれば、動画公開のタイミングでconnpassのメール機能にてお知らせいたします。

想定する参加者と期待される学び

  • LLM初中級者
    Tanuki開発で行われた実際の作業の一部を垣間見ることで、LLM開発の実現場をご体感頂けます。
  • 小型LLMや次世代Tanukiの開発をお考えの方
    Tanuki開発のエッセンスを全3回程度の実演に詰め込んでお送りします。

＊なお、実際のTanuki開発内容の発信を目的にしているため、理論や開発総括に関してはLLM講座または松尾研LLM開発プロジェクト「Tanuki-8x8B」開発成果報告会 Vol.1～3をご覧ください。

東京大学 松尾・岩澤研究室Youtube

タイムテーブル

  1. オープニング・自己紹介
  2. Tanuki開発について
  3. 事後学習 - SFT,DPOについて
  4. 事後学習 - 総力戦について
  5. 事後学習 - スクリプト解説
  6. SFT/DPOの実演
  7. 質疑
  8. クロージング

参考リンク

その他

注意事項

※ こちらのイベント情報は、外部サイトから取得した情報を掲載しています。
※ 掲載タイミングや更新頻度によっては、情報提供元ページの内容と差異が発生しますので予めご了承ください。
※ 最新情報の確認や参加申込手続き、イベントに関するお問い合わせ等は情報提供元ページにてお願いします。
情報提供元ページ（connpass）へ

新規会員登録

このイベントに申し込むには会員登録が必要です。
アカウント登録済みの方はログインしてください。

※ ソーシャルアカウントで登録するとログインが簡単に行えます。

※ 連携したソーシャルアカウントは、会員登録完了後にいつでも変更できます。

関連するイベント