BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//https://techplay.jp//JP
CALSCALE:GREGORIAN
METHOD:PUBLISH
X-WR-CALDESC:【勉強会 #2】小型LlamaモデルのMegatron-LMを用い
 た事前学習と継続事前学習
X-WR-CALNAME:【勉強会 #2】小型LlamaモデルのMegatron-LMを用い
 た事前学習と継続事前学習
X-WR-TIMEZONE:Asia/Tokyo
BEGIN:VTIMEZONE
TZID:Asia/Tokyo
BEGIN:STANDARD
DTSTART:19700101T000000
TZOFFSETFROM:+0900
TZOFFSETTO:+0900
TZNAME:JST
END:STANDARD
END:VTIMEZONE
BEGIN:VEVENT
UID:960960@techplay.jp
SUMMARY:【勉強会 #2】小型LlamaモデルのMegatron-LMを用いた事
 前学習と継続事前学習
DTSTART;TZID=Asia/Tokyo:20241027T170000
DTEND;TZID=Asia/Tokyo:20241027T190000
DTSTAMP:20260528T105654Z
CREATED:20241013T140545Z
DESCRIPTION:イベント詳細はこちら\nhttps://techplay.jp/event/96096
 0?utm_medium=referral&utm_source=ics&utm_campaign=ics\n\n【勉強会 #2
 】小型LlamaモデルのMegatron-LMを用いた事前学習と継続事
 前学習\n日時 : 2024年10月27日(日) 17:00 - 19:00\n場所 : Zoom\n
 参加対象者 : どなたでも参加可\n参加費 : なし\n定員 : 
 1\,000名\nイベント概要\nTanuki風小型LlamaモデルのMegatron-L
 Mを用いた事前学習と継続事前学習を、手頃な価格で仕
 立てられるローカルPCやレンタルクラウド環境上で、
 自動環境構築スクリプトにて環境構築する様子をお見
 せする、という実演的な勉強会です。\n※Tanukiとは松
 尾研がGENIACで開発したLLMモデルです。\nご覧頂くだけ
 であれば、特に準備物は必要ありません。\n（H100×8の1
 ノードをご用意頂けますと8Bモデルの学習、H100×8の3ノ
 ードあればTanuki-8x8Bの学習が可能です。）\n本イベント
 はイベント終了後に松尾研公式YouTubeでアーカイブ動画
 を公開予定です。残念ながら当日ライブで参加頂けな
 い方でも、connpassに参加登録を頂いていれば、動画公
 開のタイミングでconnpassのメール機能にてお知らせい
 たします。\n想定する参加者と期待される学び\n\nLLM初
 中級者\n   Tanuki開発で行われた実際の作業の一部を垣
 間見ることで、LLM開発の実現場をご体感頂けます。\n
 小型LLMや次世代Tanukiの開発をお考えの方\n   Tanuki開発
 のエッセンスを全3回程度の実演に詰め込んでお送りし
 ます。再現性の確保・公開を目的にしておりますので
 、計算リソースがあればTanuki相当のLLM開発の一助とな
 る勉強会です。\n\n＊なお、実際のTanuki開発内容の発信
 を目的にしているため、理論や開発総括に関してはLLM
 講座または松尾研LLM開発プロジェクト「Tanuki-8x8B」開
 発成果報告会 Vol.1～3をご覧ください。\n東京大学 松尾
 ・岩澤研究室Youtube\nタイムテーブル\n\nオープニング・
 自己紹介\nトークナイザーの学習について\n事前学習\n
 継続事前学習\n質疑\nクロージング\n\n参考リンク\n\nNEDO
 の採択を受け、公開型での500億パラメータサイズの大
 規模言語モデル開発を開始します\n「GENIAC」プロジェ
 クトの詳細はこちら\n
LOCATION:Zoom配信 オンライン
URL:https://techplay.jp/event/960960?utm_medium=referral&utm_source=ics&utm
 _campaign=ics
END:VEVENT
END:VCALENDAR