LLM Night〜LLMアプリケーションの評価の実運用〜

Name: LLM Night〜LLMアプリケーションの評価の実運用〜
Start: 2024-11-27T19:30:00+09:00
End: 2024-11-27T21:00:00+09:00

2024/11/27(水)19:30 〜 21:00 開催

ブックマーク

#Google Cloud, #MLOps, #大規模言語モデル（LLM）

イベント内容

概要

LLMアプリケーションの開発が行われるようになり、本番運用している企業も増えてきました。よいLLMアプリケーションを作るための工夫としてのプロンプトエンジニアリングやRAGなどの手法は、広く知られるようになってきました。

一方、LLMの実験管理や評価の方法についてはまだベストプラクティスが出揃っておらず、各社が手探りで行っているような状態です。評価ができなれば、どれだけLLMアプリケーションの精度改善のプラクティスが出ても、継続的に精度改善していくことはできません。また、本番運用されるLLMアプリケーションは、精度やビジネスインパクトへの評価だけではなく、コストやレイテンシーを継続的にモニタリングしていくことも重要です。

今回はLLMアプリケーションの評価に取り組む各社にお集まりいただき、評価に関する知見や工夫を整理して発表しただきたいと思います。

こんな人におすすめ

LLMアプリケーション開発の最新トレンドを知りたい方
LLMアプリケーションの実験管理・評価について他社事例などを詳しく知りたい方
LLMアプリケーションを開発して本番運用しているorしようとしているPdM・エンジニアの方
特にLLM生成AIを改善していくLLMOpsの具体的な方法が知りたい方

対象者

生成AI/LLMを活用したアプリケーション開発をして運用している方
これから生成AI/LLMを活用したアプリケーション開発をしようとしている方
AI・LLMの基礎知識のある方（LLMとはなにか？というような基礎的なお話はありません）

登壇企業

PharmaX株式会社

LTタイトル: LLMアプリケーションの評価と継続的改善

PharmaXは、健康を一生涯サポートするかかりつけオンライン薬局『YOJO』を運営しています。 YOJOでは、LLMのマルチエージェント・アプリケーションを構築し、メッセージの薬剤師への提案や一部自動送信を行っています。 LLMアプリケーションを評価し、継続的に改善する手法について語ります。

株式会社Citadel AI

LTタイトル：LLMOps: Eval-Centric を前提としたMLOps

機械学習モデルの運用には困難がつきまとうことはよく知られ、それらへの対策は MLOps という知識体系にまとめられました。しかし、MLOps の知識体系をもってしても LLM を利用したアプリケーションを運用することは容易ではなく、とくに評価は既存の知識体型では不足します。ここでは LLM の運用は既存の知識以上のものが求められる理由と、運用上の課題、そして新たに発見された LLM のベストプラクティスについて紹介します。

株式会社Gaudiy

LTタイトル：継続的な評価基準と評価の実行の仕方をアップデートするワークフロー

LLMを使ったプロダクトを世に出す上では評価が肝です。ですが最初から評価基準が見えきっていることなどはあり得ず、また初期からプロダクトの価値に貢献するLLMの使い方か分からない内にオフライン評価に投資し過ぎるのも得策ではありません。このため「継続的に評価基準をアップデートしていく」ということを念頭に置くことが大事です。このLTではそんなアップデートしていくワークフローについて語ります。

開催概要

日程：2024年11月27日（水）19:30〜21:00 （10分前から入室可能です）

開催場所：オンライン（Zoom・申込者にURLを後日ご案内します）

開催前日、メールにて視聴URLをお送りしますので必ずご確認ください（※connpassページの「参加者への情報」にも記載します）

タイムテーブル

時刻	内容
19:20	開場
19:30	オープニング
19:40	各社のLT
20:40	パネルディスカッション
20:50	Q&A
20:55	まとめ
21:00	閉会

登壇者プロフィール

PharmaX株式会社取締役・エンジニアリング責任者上野彰大

東京大学農学生命科学研究科卒業。大阪府堺市出身。新卒でIGPI（経営共創基盤）に入社し、2018年12月にPharmaX株式会社（旧・株式会社YOJO Technologies）を共同創業。全社戦略、エンジニアリング責任者。趣味でエンジニアリング勉強会を数年続けている。得意なのは、統計、機械学習、データ分析。

コーポレートサイト

採用ページ

株式会社Citadel AI Software Engineer 杉山阿聖

Citadel AI にてソフトウェアエンジニアとしてプロダクト開発に従事。Google Cloud の Champion Innovator (AI/ML) に選定されたほか、MLSE (機械学習工学会) で MLOps に関するワーキンググループを主催し、MLOps に関する事例・知識の普及に務める。「見て試してわかる機械学習アルゴリズムの仕組み機械学習図鑑 (翔泳社)」「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋 (講談社)」を共著。

コーポレートサイト

採用ページ

株式会社Gaudiy seya LLMアプリエンジニア

NY州立大学 Stony Brook Computer Science 科卒業後、ソフトウェアエンジニアとして働き始める。フロントエンドエンジニアとして長年働いていたが、2023年6月に Gaudiy に入社後、LLMの楽しさに魅せられLLMアプリエンジニアに転身。現在はLLMを使ったアプリケーション開発・運用に取り組む。

コーポレートサイト

採用ページ

モデレータプロフィール

PharmaX株式会社エンジニアリングマネージャー古家大

ニフティ株式会社に新卒入社後、バックエンドエンジニアとして開発を担当し、ベトナムのオフショア開発組織の立ち上げを経験。オフショア開発組織の国内チーム統合とリプレースまでリードエンジニアとして主導。2016年よりフリーランスに転向。多くの企業でエンジニアとして豊富な経験を積んだ後、PharmaX株式会社に入社し、データ分析基盤の構築や薬局DXを支援するサービスのフロントエンド開発のリードエンジニアを務めつつ、アジャイルの推進活動を行う。 2023年からエンジニアリングマネージャーに就任。「一人一人のモチベーションを引き出し、エンジニアとしての成長と事業の成長を両立すること」を目指し、エンジニアが成長する機会を創出できるよう最高のプロダクト/組織を生み出すことに日々向き合っている。