概要

PharmaXは、オンライン完結で医薬品を購入することが可能な薬局を運営するスタートアップです。
PharmaXでは、薬剤師がチャットする内容をLLMでサジェストするシステムを本番運用しています。

LLMで精度高くチャット内容をサジェストするために、チャット相手であるユーザーのステータスに合わせてLLMエージェントを切り替えていくというマルチエージェントの仕組みを取り入れています。

このマルチエージェントの精度を継続的に改善していくためには、評価を行うことが重要です。 PharmaXでは、LLM-as-a-Judgeと呼ばれる「LLMにLLMの出力を評価させる手法」を使って評価しています。

これまでもPharmaXの評価の運用については、下記のようにいくつかの記事やイベントで公開して来ました。

• LLMアプリケーションの実験管理の運用をまとめてみた〜PromptLayerを使った本番運用〜
• LLMアプリケーションの評価の運用についてまとめてみた
• LLMの事前評価のシステムアーキテクチャを紹介します
• LLMによるLLMの評価（LLM as a judge）の精度改善のための試行錯誤〜評価分割・モデル間比較
• LLMによるLLMの評価（LLM as a judge）の精度改善のためのプロンプトエンジニアリング

本発表では、現時点でPharmaXでLLM as a judgeがどのように活用され、どのような課題感を感じているのか、そして、今後どのように発展させていきたいのかということを改めてまとめたいと思います。

こんな人におすすめ

• LLMアプリケーション開発の最新トレンドを知りたい方
• マルチエージェントなLLMアプリケーションの開発・運用事例を知りたい方
• LLM as a judgeの運用について知りたい方
• LLMアプリケーションを開発して本番運用しているorしようとしているPdM・エンジニアの方

対象者

• LLM・AIの基礎知識のある方（数学的な話はあまり出てきませんが、LLMとは？のような基礎的な解説はしません）
• 少しでもLLMを活用したアプリケーション開発をしたことがある方
• LLMアプリケーションの本番運用をしたことがある方はより理解しやすいかと思います（推奨であり、必須ではない）

開催概要

日程：2024年7月18日（木）19:00〜20:00 （10分前から入室可能です）

開催場所：オンライン（Zoom・申込者にURLを後日ご案内します）

開催前日、メールにて視聴URLをお送りしますので必ずご確認ください（※connpassページの「参加者への情報」にも記載します）

タイムテーブル

登壇者プロフィール

PharmaX株式会社 取締役・エンジニアリング責任者 上野彰大

東京大学農学生命科学研究科卒業。大阪府堺市出身。新卒でIGPI（経営共創基盤）に入社し、2018年12月にPharmaX株式会社（旧・株式会社YOJO Technologies）を共同創業。全社戦略、エンジニアリング責任者。趣味でエンジニアリング勉強会を数年続けている。得意なのは、統計、機械学習、データ分析。

コーポレートサイト

採用ページ

モデレータプロフィール

PharmaX株式会社 エンジニアリーダー 尾崎皓一

立命館大学院情報理工学研究科卒業。 TIS株式会社でシステムエンジニアとして勤務後、独立しフリーランスのWebエンジニアに。母が調剤薬局を経営していることもあり、PharmaXのミッション・ビジョン・目指す世界観に共感し、2号エンジニア社員としてジョイン。 現在はエンジニアリングリーダーとしてサービス開発に携わっている。

注意事項

• 講演内容やタイムスケジュールは変更となる可能性がございます。

• 当日のイベント内容は後日任意の媒体にて公開させていただくことがあります。

• 万一イベント開催が中止の場合、本サイトからのメッセージよりご連絡させていただきますのでご確認をお願いいたします。

プライバシーポリシー

PharmaX株式会社

※ご提供いただいた個人情報は、イベントの運営・管理、イベントの改善又は新規企画のための分析、当社の採用情報等のご案内で利用いたします。 また、当該個人情報・内容は、ご本人様の同意を得ずに、第三者への提供はいたしません。

主催

PharmaX株式会社

コーポレートサイト

採用ページ