LLMアプリケーションのトレース・評価と継続的改善〜LangSmithを使ったLLMOps構築〜

講座概要

発表者は、健康を一生涯サポートするかかりつけオンライン薬局『YOJO』を運営しています。
YOJOでは、LLMのマルチエージェント・アプリケーションを構築し、メッセージの薬剤師への提案や一部自動送信を行っています。LLMを用いることで、柔軟でパーソナライズされた対応が迅速に可能になり、ユーザーのメッセージ返信率や初回購入率・継続率が劇的に向上しました。
また、安全性担保のため、LLMの出力のリアルタイム評価と、基準値を下回った場合の再生成機能なども導入しています。 このマルチエージェント構成はLangChain・LangGraphで構築されています。

実験管理や評価にはLangSmithをフル活用しています。これにより、LLMの精度改善のための高速なプロンプトチューニングサイクルを実現しました。さらに、出力をアノテーションしたデータを蓄積し、fine-tuningを行うことで、さらなる精度向上とコスト削減を両立しています。

今回は、上記のようなLLM Opsを構築し、LLMアプリケーションを継続的に改善していくためのコツを中心にお話します。

※ 発表者がServerlessDays Tokyo 2024や自社イベントLangSmithによるLLMアプリケーションのLLMOps構築〜トレース・データセット作成・評価〜で発表した内容と8割重複します

主な対象者

• LLM生成AI/LLMアプリケーション開発の最新トレンドを知りたい方
• 特にLLM生成AIを改善していくLLMOpsの具体的な方法が知りたい方
• 生成AI/LLMアプリケーションの他社開発事例などを詳しく知りたい方
• 生成AI/LLMアプリケーションを開発して本番運用しているorしようとしているPdM・エンジニアの方

前提とする知識

• LLM・AIの基礎知識のある方（数学的な話はあまり出てきませんが、LLMとは？のような基礎的な解説はしません）
• 少しでもLLMを活用したアプリケーション開発をしたことがある方

アジェンダ

• PharmaXのプロダクトの簡単な説明
• LLMマルチエージェントによるチャットアプリケーションの構成
• リリース前のフローエンジニアリングの設計
• リリース後のトレース
• リリース後のオンライン評価
• リリース後のデータセットの運用と継続的改善

会場

Zoomウェビナーでの開催となります

※ 参加登録してくださった方に、このページ上部の「参加者への情報」の欄にZoomのURLが表示されます。

タイムテーブル

※質疑の内容や数などにより、終了時刻が前後する可能性があります。

発表者プロフィール

東京大学農学生命科学研究科卒業。大阪府堺市出身。新卒でIGPI（経営共創基盤）に入社し、2018年12月にPharmaX株式会社（旧・株式会社YOJO Technologies）を共同創業・CTO。