イベント概要

今回のW&Bミートアップでは、LLMの転移学習・ファインチューニングにフォーカスを当てます。オープンソースの基盤モデルの性能も上がりつつある一方で、特定の目的に特化した用途での性能を高めるためには、ファインチューニングが重要な手法だと考えられています。一方で、ファインチューニングで得られる精度は必ずしも高くないのでは、という研究結果も発表されています（参考 LLMファインチューニングは機能しない？)

今回は、先日日本語大規模言語モデル OpenCALM の知識でクイズ王に挑戦するという記事で、国産オープンソースモデルをファインチューニングすることでLLMにクイズ王に挑戦させ、高い精度を得ることを発表したAWSのソリューションアーキテクトの久保隆宏さんをゲストに迎え、W&Bの山本と共にLLMファインチューニングの動向、実装の基礎、活用すべきタイミング、実用的な手法などを紹介してもらいます。

スポンサーからのお願い

• 講演開催中にお弁当形式の軽食と、懇親会でのお飲み物の提供を予定しておりますが、数には限りがありご参加者全員に行き渡らない場合もございます。

お知らせ

今回のW&Bミートアップは別途開催中の「ChatGPT+LangChain+自社データで作る、人工知能プログラミング実践入門講座」の第3回講座とのタイアップ企画となりますので、両イベントからのご参加社が参加されます。

タイムテーブル

スピーカー

久保隆宏 (@icoxfog417), アマゾン ウェブ サービス ジャパン合同会社, ソリューションアーキテクト/デベロッパーリレーション

2021 年より AWS の機械学習領域専門のデベロッパーリレーションに従事。 AWS が機械学習をはじめるのに最適なプラットフォームになるよう、戦略の立案、コンテンツの開発、フィードバックの収集に基づくサービス開発チームへの提案まで一気通貫で活動。近年特にプロダクト開発チーム向けの ML Enablement に注力して活動。

「大規模言語モデルを転移学習すべきタイミングとその方法」

大規模な事前学習を済ませたモデルは基盤モデルと呼ばれ、追加学習なしに高い精度で様々なタスクを解くことができます。基盤モデルを組み込んだ ChatGPT 等のアプリケーションは手軽に試しプロダクトに組み込むことができる一方、誰もが利用できるため差別化に繋げることが困難です。本講演では 1) いつ手軽な生成系 AI アプリケーションの利用から自社固有のデータによるカスタマイズを検討すべきなのか、 2) カスタマイズによりどのような効果が期待できるのか、 3) AWS を用いカスタマイズ( = 転移学習)を行う方法とメリットをお伝えします。3 については、 W&B と組み合わせることでより簡単に AWS のスケーラブルなリソースを扱える方法をご紹介します。

山本祐也 (@ nejumi_dqx), Weights & Biases, Success Machine Learning Engineer

東京大学大学院工学系研究科にて有機無機複合材料の研究で博士号を取得。学位取得後、大手化学メーカーにて液晶・タッチパネル関連先端化学材料の研究開発に従事。 その後、大手食品メーカーで機械学習を用いた食品パッケージに関する予測モデリングと最適化に取り組むなど、BtBとBtCいずれにも深い経験を有する。前職DataRobotでは製造顧客担当チームのリーダーとして国内数十社のAI導入を支援。国内で数十人程度のKaggle Grandmasterの一人。

「LLMファインチューニング基礎と最近の動向」

大規模言語モデルを活用するにあたってファインチューニングはコストと効果のバランスに優れた重要な技術の一つですが、この領域も基盤モデルの進歩と同様にハイスピードで進歩しています。本講演ではLLMのファインチューニングについての基礎と各種法についておさらいするとともに、最近のトピックについて実例を交えて紹介します。また、Weights & BiasesのLLMOpsによるファインチューニングの実験管理と可視化についても実際の製品デモでご紹介いたします。

会場

WeWork 東京スクエアガーデン

住所: 104-0031 東京都中央区京橋3-1-1 東京スクエアガーデン 14F

（以前のイベントの様子）

アクセス

• 東京メトロ 銀座線 京橋駅（出口3）（駅直結）
• 東京メトロ 有楽町線 銀座一丁目駅（出口7） 徒歩2分
• 都営浅草線 宝町駅（A4出口） 徒歩2分

京橋駅直結のビル。3階にあがるとオフィスエントランスがございます。 3階からエレベーターで14階までお越しください。 会場へのアクセス方法の詳細はこちらに：http://wandb.me/tokyo-office

主催・運営

このイベントはWeights & Biases Japan によって運営されています。

本イベントの開催には、WeWork様に多大なご協力をいただいております。

このミートアップに登録することで、Weights & Biasesの製品、サービス、イベントに関するマーケティングコミュニケーションを受け取ることがあります。W&Bは、お客様の個人情報をプライバシーポリシーに従ってのみ使用し、これらのコミュニケーションはいつでも解除することができます。

このミートアップ中に写真や動画が撮影されます。これらはW&Bによってマーケティングや宣伝用に、出版物、ウェブサイト、ソーシャルメディアで使用されることがあります。何か懸念がある場合や、撮影や録画されたくない場合は、お問い合わせください。