LLMアプリケーションの実験管理・評価の工夫を紹介〜PromptLayerを使った本番運用〜

2024/04/04(木)19:30 〜 21:00 開催

ブックマーク

#Python, #人工知能, #大規模言語モデル（LLM）

イベント内容

講座概要

LLMアプリケーションの開発が行われるようになり、本番運用している企業も増えてきました。よいLLMアプリケーションを作るための工夫としてのプロンプトエンジニアリングやRAGなどの手法は、エンジニア界隈では広く一般に知られるようになってきました。

一方、LLMの実験管理や評価の方法についてはまだベストプラクティスが出揃っておらず、各社が手探りで行っているような状態です。評価ができなれば、どれだけLLMアプリケーションの精度改善のプラクティスが出ても、継続的に精度改善していくことはできません。また、本番運用されるLLMアプリケーションは、精度やビジネスインパクトへの評価だけではなく、コストやレイテンシーを継続的にモニタリングしていくことも重要です。

発表者が所属するPharmaX社でも例に漏れず、手探りで評価方法を確立しようと奮闘しています。本発表では、発表者が得た知見や工夫を整理して発表したいと思います。

※本イベントは発表者の上野が自社にて行ったイベント『LLMアプリケーションの実験管理・評価についての知見をまとめてみた』の内容と7割程度被ります

こちらの記事もご参考にしてください

主な対象者

LLMアプリケーション開発の最新トレンドを知りたい方
LLMアプリケーションの実験管理・評価について他社事例などを詳しく知りたい方
LLMアプリケーションを開発して本番運用しているorしようとしているPdM・エンジニアの方

前提とする知識

少しでもLLMを活用したアプリケーション開発をしたことがある方
Pythonのコードをざっくりとでもいいので理解できる方
LLM・AIの基礎知識のある方（数学的な話は出てこないのでご安心ください）

アジェンダ

PharmaXのプロダクトの簡単な説明
LLMの評価・実験管理の概要
実験管理の工夫
評価の工夫
まとめ

会場

Zoomウェビナーでの開催となります

※ 参加登録してくださった方に、このページ上部の「参加者への情報」の欄にZoomのURLが表示されます。

タイムテーブル

時刻	内容
19:30	はじめに
19:35	講座
20:50	質疑応答
21:00	終了

※質疑の内容や数などにより、終了時刻が前後する可能性があります。

発表者プロフィール

PharmaX株式会社取締役・エンジニアリング責任者上野彰大

東京大学農学生命科学研究科卒業。大阪府堺市出身。新卒でIGPI（経営共創基盤）に入社し、2018年12月にPharmaX株式会社（旧・株式会社YOJO Technologies）を共同創業。全社戦略、エンジニアリング責任者。趣味でエンジニアリング勉強会を数年続けている。得意なのは、統計、機械学習、データ分析。