BEGIN:VCALENDAR VERSION:2.0 PRODID:-//https://techplay.jp//JP CALSCALE:GREGORIAN METHOD:PUBLISH X-WR-CALDESC:【勉強会 #1】小型LlamaモデルのTransformerEngineを 用いた事前学習の環境構築 X-WR-CALNAME:【勉強会 #1】小型LlamaモデルのTransformerEngineを 用いた事前学習の環境構築 X-WR-TIMEZONE:Asia/Tokyo BEGIN:VTIMEZONE TZID:Asia/Tokyo BEGIN:STANDARD DTSTART:19700101T000000 TZOFFSETFROM:+0900 TZOFFSETTO:+0900 TZNAME:JST END:STANDARD END:VTIMEZONE BEGIN:VEVENT UID:959786@techplay.jp SUMMARY:【勉強会 #1】小型LlamaモデルのTransformerEngineを用い た事前学習の環境構築 DTSTART;TZID=Asia/Tokyo:20241013T170000 DTEND;TZID=Asia/Tokyo:20241013T190000 DTSTAMP:20260528T105619Z CREATED:20241002T140523Z DESCRIPTION:イベント詳細はこちら\nhttps://techplay.jp/event/95978 6?utm_medium=referral&utm_source=ics&utm_campaign=ics\n\n【勉強会 #1 】小型LlamaモデルのTransformerEngineを用いた事前学習の環 境構築\n日時 : 2024年10月13日(日) 17:00 - 19:00\n場所 : Zoom\n 参加対象者 : どなたでも参加可\n参加費 : なし\n定員 : 1\,000名\nイベント概要\nTanuki風の小型LlamaモデルのTransfo rmerEngineを用いた事前学習を、手頃な価格で仕立てられ るローカルPCやレンタルクラウド環境上で、Tanukiで使 った自動環境構築スクリプトにて環境構築する様子を お見せする、という実演的な勉強会です。\n※Tanukiと は松尾研がGENIACで開発したLLMモデルです。\nご覧頂く だけであれば、特に準備物は必要ありません。\n（H100 ×8の1ノードをご用意頂けますと8Bモデルの学習、H100×8 の3ノードあればTanuki-8x8Bの学習が可能です。）\n想定 する参加者と期待される学び\n\nLLM初中級者\n Tanuki開 発で行われた実際の作業の一部を垣間見ることで、LLM 開発の実現場をご体感頂けます。\n小型LLMや次世代Tanuk iの開発をお考えの方\n Tanuki開発のエッセンスを全3回 程度の実演に詰め込んでお送りします。再現性の確保 ・公開を目的にしておりますので、計算リソースがあ ればTanuki相当のLLM開発の一助となる勉強会です。\n\n＊ なお、実際のTanuki開発内容の発信を目的にしているた め、理論や開発総括に関してはLLM講座または松尾研LLM 開発プロジェクト「Tanuki-8x8B」開発成果報告会 Vol.1～3 をご覧ください。\n東京大学 松尾・岩澤研究室Youtube\n タイムテーブル\n\nオープニング・今日の説明\n開発実 施者のモチベーションについて\nインフラ構築につい て\nconda共用環境の作り方\nスクリプトを逐次説明\n注 目ポイントの説明（詰まったところ）\n質疑応答（実 務で詰まっているところ・他のプロジェクトの環境構 築）\n学習実演\n次回予告\n\nなお、本プロジェクトは 国立研究開発法人新エネルギー・産業技術総合開発機 構（NEDO）による、国内の生成AIの開発力を強化するた めのプロジェクト「GENIAC（Generative AI Accelerator Challenge ）」において、基盤モデル開発に必要な計算資源の提 供支援を受けています。\n参考リンク\n\nNEDOの採択を受 け、公開型での500億パラメータサイズの大規模言語モ デル開発を開始します\n「GENIAC」プロジェクトの詳細 はこちら\n LOCATION:Zoom配信 オンライン URL:https://techplay.jp/event/959786?utm_medium=referral&utm_source=ics&utm _campaign=ics END:VEVENT END:VCALENDAR