BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//https://techplay.jp//JP
CALSCALE:GREGORIAN
METHOD:PUBLISH
X-WR-CALDESC:LLMアプリケーションの実験管理・評価の工夫
 を紹介〜PromptLayerを使った本番運用〜
X-WR-CALNAME:LLMアプリケーションの実験管理・評価の工夫
 を紹介〜PromptLayerを使った本番運用〜
X-WR-TIMEZONE:Asia/Tokyo
BEGIN:VTIMEZONE
TZID:Asia/Tokyo
BEGIN:STANDARD
DTSTART:19700101T000000
TZOFFSETFROM:+0900
TZOFFSETTO:+0900
TZNAME:JST
END:STANDARD
END:VTIMEZONE
BEGIN:VEVENT
UID:939426@techplay.jp
SUMMARY:LLMアプリケーションの実験管理・評価の工夫を紹
 介〜PromptLayerを使った本番運用〜
DTSTART;TZID=Asia/Tokyo:20240404T193000
DTEND;TZID=Asia/Tokyo:20240404T210000
DTSTAMP:20260528T171904Z
CREATED:20240321T063246Z
DESCRIPTION:イベント詳細はこちら\nhttps://techplay.jp/event/93942
 6?utm_medium=referral&utm_source=ics&utm_campaign=ics\n\n講座概要\nLL
 Mアプリケーションの開発が行われるようになり、本番
 運用している企業も増えてきました。\nよいLLMアプリ
 ケーションを作るための工夫としてのプロンプトエン
 ジニアリングやRAGなどの手法は、エンジニア界隈では
 広く一般に知られるようになってきました。\n一方、LL
 Mの実験管理や評価の方法についてはまだベストプラク
 ティスが出揃っておらず、各社が手探りで行っている
 ような状態です。評価ができなれば、どれだけLLMアプ
 リケーションの精度改善のプラクティスが出ても、継
 続的に精度改善していくことはできません。\nまた、
 本番運用されるLLMアプリケーションは、精度やビジネ
 スインパクトへの評価だけではなく、コストやレイテ
 ンシーを継続的にモニタリングしていくことも重要で
 す。\n発表者が所属するPharmaX社でも例に漏れず、手探
 りで評価方法を確立しようと奮闘しています。本発表
 では、発表者が得た知見や工夫を整理して発表したい
 と思います。\n※本イベントは発表者の上野 が自社に
 て行ったイベント『LLMアプリケーションの実験管理・
 評価についての知見をまとめてみた』の内容と7割程度
 被ります\nこちらの記事もご参考にしてください\n\n『L
 LMアプリケーションの実験管理の運用をまとめてみた
 〜PromptLayerを使った本番運用〜』\n『LLMアプリケーショ
 ンの評価の運用についてまとめてみた』\n\n主な対象者
 \n\nLLMアプリケーション開発の最新トレンドを知りたい
 方\nLLMアプリケーションの実験管理・評価について他
 社事例などを詳しく知りたい方\nLLMアプリケーション
 を開発して本番運用しているorしようとしているPdM・
 エンジニアの方\n\n前提とする知識\n\n少しでもLLMを活
 用したアプリケーション開発をしたことがある方\nPytho
 nのコードをざっくりとでもいいので理解できる方\nLLM
 ・AIの基礎知識のある方（数学的な話は出てこないの
 でご安心ください）\n\nアジェンダ\n\nPharmaXのプロダク
 トの簡単な説明\nLLMの評価・実験管理の概要\n実験管理
 の工夫\n評価の工夫\nまとめ\n\n会場\nZoomウェビナーで
 の開催となります\n※ 参加登録してくださった方に、
 このページ上部の「参加者への情報」の欄にZoomのURLが
 表示されます。\nタイムテーブル\n\n\n\n時刻\n内容\n\n\n\
 n\n19:30\nはじめに\n\n\n19:35\n講座\n\n\n20:50\n質疑応答\n\n\n2
 1:00\n終了\n\n\n\n※質疑の内容や数などにより、終了時
 刻が前後する可能性があります。\n発表者プロフィー
 ル\nPharmaX株式会社 取締役・エンジニアリング責任者 
 上野彰大\n\n東京大学農学生命科学研究科卒業。大阪府
 堺市出身。新卒でIGPI（経営共創基盤）に入社し、2018
 年12月にPharmaX株式会社（旧・株式会社YOJO Technologies）
 を共同創業。全社戦略、エンジニアリング責任者。趣
 味でエンジニアリング勉強会を数年続けている。得意
 なのは、統計、機械学習、データ分析。
LOCATION:Zoom オンライン
URL:https://techplay.jp/event/939426?utm_medium=referral&utm_source=ics&utm
 _campaign=ics
END:VEVENT
END:VCALENDAR