LangSmithによるLLMアプリケーションのLLMOps構築〜トレース・データセット作成・評価〜
イベント内容
概要
PharmaXは、健康を一生涯サポートするかかりつけオンライン薬局『YOJO』を運営しています。
YOJOでは、LLMのマルチエージェント・アプリケーションを構築し、メッセージの薬剤師への提案や一部自動送信を行っています。LLMを用いることで、柔軟でパーソナライズされた対応が迅速に可能になり、ユーザーのメッセージ返信率や初回購入率・継続率が劇的に向上しました。また、安全性担保のため、LLMの出力のリアルタイム評価と、基準値を下回った場合の再生成機能なども導入しています。
このマルチエージェント構成はLangChain・LangGraphで構築されています。
実験管理や評価にはLagnSmithをフル活用しています。これにより、LLMの精度改善のための高速なプロンプトチューニングサイクルを実現しました。さらに、出力をアノテーションしたデータを蓄積し、fine-tuningを行うことで、さらなる精度向上とコスト削減を両立しています。
今回は、LangSmithを使って、どのように上記のようなLLM Opsを構築してるか中心にお話します。
こんな人におすすめ
- LLM生成AI/LLMアプリケーション開発の最新トレンドを知りたい方
- 特にLLM生成AIを改善していくLLMOpsの具体的な方法が知りたい方
- 生成AI/LLMアプリケーションの他社開発事例などを詳しく知りたい方
- 生成AI/LLMアプリケーションを開発して本番運用しているorしようとしているPdM・エンジニアの方
対象者
- 生成AI/LLMを活用したアプリケーション開発をして運用している方
- これから生成AI/LLMを活用したアプリケーション開発をしようとしている方
- AI・LLMの基礎知識のある方(LLMとはなにか?というような基礎的なお話はありません)
開催概要
日程:2024年10月2日(水)19:00〜20:00 (10分前から入室可能です)
開催場所:オンライン(Zoom・申込者にURLを後日ご案内します)
開催前日、メールにて視聴URLをお送りしますので必ずご確認ください(※connpassページの「参加者への情報」にも記載します)
タイムテーブル
時刻 | 内容 |
---|---|
18:50 | 開場 |
19:00 | オープニング |
19:10 | 登壇者発表 |
19:50 | QA・まとめ |
20:00 | 閉会 |
登壇者プロフィール
PharmaX株式会社 取締役・エンジニアリング責任者 上野彰大
東京大学農学生命科学研究科卒業。大阪府堺市出身。新卒でIGPI(経営共創基盤)に入社し、2018年12月にPharmaX株式会社(旧・株式会社YOJO Technologies)を共同創業。全社戦略、エンジニアリング責任者。趣味でエンジニアリング勉強会を数年続けている。得意なのは、統計、機械学習、データ分析。
モデレータプロフィール
PharmaX株式会社 エンジニア 加藤智之
北里大学薬学部卒業。 2019年12月に代表の辻から誘われ、第一号エンジニア社員としてPharmaX株式会社(旧・株式会社YOJO Technologies)にジョイン。ソフトウェアエンジニアとして、PharmaXのサービス開発に携わっている。薬剤師免許所持。
注意事項
-
講演内容やタイムスケジュールは変更となる可能性がございます。
-
当日のイベント内容は後日任意の媒体にて公開させていただくことがあります。
-
万一イベント開催が中止の場合、本サイトからのメッセージよりご連絡させていただきますのでご確認をお願いいたします。
プライバシーポリシー
※ご提供いただいた個人情報は、イベントの運営・管理、イベントの改善又は新規企画のための分析、当社の採用情報等のご案内で利用いたします。 また、当該個人情報・内容は、ご本人様の同意を得ずに、第三者への提供はいたしません。
主催
PharmaX株式会社
注意事項
※ 掲載タイミングや更新頻度によっては、情報提供元ページの内容と差異が発生しますので予めご了承ください。
※ 最新情報の確認や参加申込手続き、イベントに関するお問い合わせ等は情報提供元ページにてお願いします。
新規会員登録
このイベントに申し込むには会員登録が必要です。
アカウント登録済みの方はログインしてください。
※ ソーシャルアカウントで登録するとログインが簡単に行えます。
※ 連携したソーシャルアカウントは、会員登録完了後にいつでも変更できます。