概要

LLMアプリケーションの開発が行われるようになり、本番運用している企業も増えてきました。
よいLLMアプリケーションを作るための工夫としてのプロンプトエンジニアリングやRAGなどの手法は、エンジニア界隈では広く一般に知られるようになってきました。

一方、LLMの実験管理や評価の方法についてはまだベストプラクティスが出揃っておらず、各社が手探りで行っているような状態です。評価ができなれば、どれだけLLMアプリケーションの精度改善のプラクティスが出ても、継続的に精度改善していくことはできません。
また、本番運用されるLLMアプリケーションは、精度やビジネスインパクトへの評価だけではなく、コストやレイテンシーを継続的にモニタリングしていくことも重要です。

PharmaXでも例に漏れず、手探りで評価方法を確立しようと奮闘しています。本発表では、PharmaX内で得た知見と、現時点で世間的に言われている知見を整理して発表したいと思います。

こんな人におすすめ

• LLMアプリケーション開発の最新トレンドを知りたい方
• LLMアプリケーションの実験管理・評価について他社事例などを詳しく知りたい方
• LLMアプリケーションを開発して本番運用しているorしようとしているPdM・エンジニアの方

対象者

• 少しでもLLMを活用したアプリケーション開発をしたことがある方
• Pythonのコードをざっくりとでもいいので理解できる方
• LLM・AIの基礎知識のある方（数学的な話はあまり出てきません）

開催概要

日程：2024年1月24日（水）19:00〜20:30 （10分前から入室可能です）

開催場所：オンライン（Zoom・申込者にURLを後日ご案内します）

開催前日、メールにて視聴URLをお送りしますので必ずご確認ください（※connpassページの「参加者への情報」にも記載します）

タイムテーブル

登壇者プロフィール

PharmaX株式会社 取締役・エンジニアリング責任者 上野彰大

東京大学農学生命科学研究科卒業。大阪府堺市出身。新卒でIGPI（経営共創基盤）に入社し、2018年12月にPharmaX株式会社（旧・株式会社YOJO Technologies）を共同創業。全社戦略、エンジニアリング責任者。趣味でエンジニアリング勉強会を数年続けている。得意なのは、統計、機械学習、データ分析。

コーポレートサイト

採用ページ

注意事項

• 講演内容やタイムスケジュールは変更となる可能性がございます。

• 当日のイベント内容は後日任意の媒体にて公開させていただくことがあります。

• 万一イベント開催が中止の場合、本サイトからのメッセージよりご連絡させていただきますのでご確認をお願いいたします。

プライバシーポリシー

PharmaX株式会社

※ご提供いただいた個人情報は、イベントの運営・管理、イベントの改善又は新規企画のための分析、当社の採用情報等のご案内で利用いたします。 また、当該個人情報・内容は、ご本人様の同意を得ずに、第三者への提供はいたしません。

主催

PharmaX株式会社

コーポレートサイト

採用ページ