イベント概要

今回のWeights & Biasesミートアップは、ML/LLMの分散学習にフォーカスを当てます。特に大規模なLLMモデルの学習に顕著なように、複数のGPU、複数のマシンにまたがる分散学習の手法はこれから多くのMLエンジニア・リサーチャーにとって必須スキルになりつつあるものの、まだまだ実践的な経験・知識を持つ方は多くないのが現状です。

今回登壇してくださる藤井さんは、東京工業大学横田研究室の学生でありながら、Turingでのインターンシップにおいても、マルチモーダルなモデルの研究開発を行っている一環として分散学習に深く関わり、今年発表した「大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編」（パート1、パート2）が注目されました。またPreferred Networksの三上さんはABCIの”第一回 大規模言語モデル構築支援プログラム”に採択されたPLaMo-13Bの開発手法を同社ブログ「PLaMo-13Bを公開しました」で発表しています。

スポンサーからのお願い

• 講演開催中にお弁当形式の軽食と、懇親会でのお飲み物の提供を予定しておりますが、数には限りがありご参加者全員に行き渡らない場合もございます。

タイムテーブル

スピーカー

藤井 一喜（@okoge_kaz） 東京工業大学 横田研究室/ Turing株式会社/ Kotoba Technologies

2023年横田研究室 所属。現在は、 LLM-jp モデル構築チーム、Turing株式会社, Kotoba Technologiesにて大規模言語モデル開発や、特定用途へのファインチューニングを担当。

「大規模言語モデル開発を支える分散学習技術」

大規模言語モデル（LLM）を学習する過程において、分散学習は避けて通れない重要な技術の一つです。本講演では、分散学習の基本的な概念とそのメカニズムをわかりやすく解説します。さらに、実例やノウハウについてもご紹介します。

三上 裕明（@mhiroaki_） 株式会社Preferred Networks リサーチャー

プロフィール文: 2017年東京大学大学院修士課程卒業。2019年より株式会社Preferred Networksに勤務。DNN学習の高速化を中心に、高速化や分散処理の研究開発に従事。

「sparseなDNNモデルに対する分散学習手法」

大規模言語モデル (LLM) をはじめとする巨大なDNNモデルでは、計算量の削減のためsparseなアーキテクチャが使われることがあります。本講演では、このようなsparseなDNNモデルに対する分散学習の手法について解説します。

会場

WeWork 東京スクエアガーデン

住所: 104-0031 東京都中央区京橋3-1-1 東京スクエアガーデン 14F

（以前のイベントの様子）

アクセス

• 東京メトロ 銀座線 京橋駅（出口3）（駅直結）
• 東京メトロ 有楽町線 銀座一丁目駅（出口7） 徒歩2分
• 都営浅草線 宝町駅（A4出口） 徒歩2分

京橋駅直結のビル。3階にあがるとオフィスエントランスがございます。 3階からエレベーターで14階までお越しください。 会場へのアクセス方法の詳細はこちらに：http://wandb.me/tokyo-office

主催・運営

このイベントはWeights & Biases Japan によって運営されています。

本イベントの開催には、WeWork様に多大なご協力をいただいております。

このミートアップに登録することで、Weights & Biasesの製品、サービス、イベントに関するマーケティングコミュニケーションを受け取ることがあります。W&Bは、お客様の個人情報をプライバシーポリシーに従ってのみ使用し、これらのコミュニケーションはいつでも解除することができます。

このミートアップ中に写真や動画が撮影されます。これらはW&Bによってマーケティングや宣伝用に、出版物、ウェブサイト、ソーシャルメディアで使用されることがあります。何か懸念がある場合や、撮影や録画されたくない場合は、お問い合わせください。