【W&Bウェビナー】LLMファインチューニング

2023/12/14(木)16:00 〜 17:30 開催

ブックマーク

#HealthTech, #大規模言語モデル（LLM）, #人工知能

イベント内容

概要

本ウェビナーでは：

LLMのファインチューニングの基礎から始まり、複数のチューニング手法の比較やハイパーパラメーターの探索などの発展的な開発手法をWeights & Biasesを使ってどのように実現できるのかをご紹介します。
LLMアプリケーションの開発・提供にR&Dから事業部門まで、複数の部門が効果的に関わっていくために必要な仕組みをWandBを使って構築していく方法を紹介します。

背景

LLMの活用方法

LLMを自社タスクに適用する方法としてファインチューニングが注目されています。ファインチューニングの手法を応用することで、モデルをカスタマイズすることができ、知識を補完するためのRAG（Retreival Augmented Generation)と合わせてLLMアプリケーション開発において重要な手法と位置付けられています。いわゆる「チャット」形式のアウトプットもそもそもファインチューニング手法によるもので、それ以外にもコードの生成、機械の操作、広告コピーの生成など、基盤モデルのデフォルトの挙動とは異なる形式のアウトプットを得るために有効な手法です。

ファインチューニング・RAGを使ったタスク特化型開発、そしてアプリケーション・サービスデリバリーを実現する上では技術的最新手法を押さえるだけでなく、会社組織を横断したAIシステム開発を実現するためのワークフローを構築していく必要があります。例えば、研究所が作成・ファインチューニングしたモデルをどのように業務部門にハンドオーバーすれば良いのか、逆に業務部門での活用や研究所へのフィードバックを有効に行うためのベストプラクティスは何か、これらのコラボレーションはプロジェクトの成否を明確に分ける要素となります。

Weights & Biases とは

Weights & Biases（WandB）は、エンタープライズグレードのML実験管理およびエンドツーエンドMLOpsワークフローを包含する開発・運用者向けプラットフォームです。WandBは、LLM開発や画像セグメンテーション、創薬など幅広い深層学習ユースケースに対応し、NVIDIA、OpenAI、Toyotaなど、国内外で80万人以上の先端的ML開発者に信頼されているAI開発の新たなベストプラクティスです。

スピーカー

シバタアキラ - Weights & Biases カントリーマネージャー

人工知能を使ったデータ・AI活用によるビジネス価値の創出を専門分野とし、オンラインサービス、既存産業各領域、クリエイティブ領域など幅広い分野にて、これまで数百社に及ぶ国内外企業のデータ・AIの利活用を実現してきた。機械学習自動化プラットフォームのDataRobot日本CEO、AIによる創造性の拡張をミッションとするQosmo, Inc.のCOOなどを歴任し、現在はサンフランシスコを拠点とし、AIエンジニアのための開発・運用プラットフォームを提供するWeights & Biasesのカントリーマネージャー。その他数社の社外取締役・顧問などを務める。

山本祐也 (@ nejumi_dqx), Weights & Biases, Success Machine Learning Engineer

東京大学大学院工学系研究科にて有機無機複合材料の研究で博士号を取得。学位取得後、大手化学メーカーにて液晶・タッチパネル関連先端化学材料の研究開発に従事。その後、大手食品メーカーで機械学習を用いた食品パッケージに関する予測モデリングと最適化に取り組むなど、BtBとBtCいずれにも深い経験を有する。前職DataRobotでは製造顧客担当チームのリーダーとして国内数十社のAI導入を支援。国内で数十人程度のKaggle Grandmasterの一人。

鎌田啓輔 - Weights & Biases, Success Machine Learning Engineer

京都大学情報学研究科で機械学習を専攻。新卒では因果推論ツールを提供する外資系企業に参画し、ビジネス施策における因果推論に従事。その後、DataRobotにてLead Data Scientistとしてヘルスケアチームのリーダーとしてヘルスケアの企業を中心に国内数十社のAI導入を支援。コロナ禍にはデータに基づく対策方針の決定に資するべく、分析担当・PMとして国立国際医療研究センターと共同で解析プロジェクトを推進し、その結果をもとに論文を執筆。厚生労働省へのレター提出にも参画。因果推論から機械学習、Deep Learningまで行う機械学習エンジニア。