概要

今回は、LLMOpsの工夫について語り合う会です。

LLMアプリケーションの開発が行われるようになり、本番運用している企業も増えてきました。 よいLLMアプリケーションを作るための工夫としてのプロンプトエンジニアリングやRAGなどの手法は、エンジニア界隈では広く一般に知られるようになってきました。

一方、LLM Opsについてはまだベストプラクティスが出揃っておらず、各社が手探りで行っているような状態です。
まず、データを扱う仕組みが整っていなければ、LLMアプリケーションを作る前の実験をすることもできませんし、RAGなどで自社のデータを活用することもできません。
継続的にLLMアプリケーションの精度を改善していくにもLLM Opsを整える必要があります。
また、本番運用されるLLMアプリケーションは、精度やビジネスインパクトへの評価だけではなく、コストやレイテンシーを継続的にモニタリングしていくことも重要です。

今回は、LLMアプリケーションをPoC・運用している各社にお集まりいただき、各社が取り組んでいるLLM Opsの工夫などの実践的な内容をお話いただきます。

こんな人におすすめ

• LLMアプリケーション開発の最新トレンドを知りたい方
• LLM Opsについて他社事例などを詳しく知りたい方
• LLMアプリケーションを開発して運用しているorしようとしているPdM・エンジニアの方

LTテーマ一覧

登壇企業：株式会社ログラス

LTタイトル：toB SaaSスタートアップにおけるドメインエキスパートと一緒に進める生成AI/LLM機能開発とそれを支えるLLMOpsの取り組み

株式会社ログラスは「良い景気を作ろう。」をミッションに、企業経営のDXと高度化を推進するSaaSプロダクトを開発・提供するスタートアップです。ログラスでは生成AI/LLMを用いた開発、社内生産性改善に取り組む専任チームを組成しており、先日新たな機能として「分析アシスタント（β版）」をリリースしました。本LTではLLM機能開発の裏側としてドメインエキスパートと協働するプロセス、さらにそれらの動きを支えるLLMOpsに関する取り組みや工夫をご紹介させていただきます。

登壇企業：株式会社MICIN

LTタイトル：ヘルスケアコンパウンドスタートアップにおける生成AI利活用事例 / LLMOpsに向けた取り組みと、それらを支える全社データ基盤のご紹介

ヘルスケアスタートアップのMICINは4つの事業と10個以上の本番プロダクトを展開するコンパウンドスタートアップです。これらのプロダクト群で効率的なデータ利活用を実現し、生成AIを用いたサービスをユーザーに提供するために全社データ基盤/ML基盤を構築しました。本LTではこれらのデータ基盤/ML基盤を構築したデータエンジニア、およびプロダクトマネージャーがその取り組み概要をご紹介させていただきます。

登壇企業：PharmaX株式会社

薬剤師のチャットサジェストの実験管理と評価の本番運用

PharmaXは、オンライン完結で医薬品を購入することが可能な薬局を運営するスタートアップです。PharmaXでは、薬剤師がチャットする内容をLLMでサジェストするシステムを本番運用しています。その運用で得た知見や評価と実験管理の工夫についてお話します。

開催概要

日程：2024年2月29日（木）19:30〜21:00 （10分前から入室可能です）

開催場所：オンライン（Zoom・申込者にURLを後日ご案内します）

開催前日、メールにて視聴URLをお送りしますので必ずご確認ください（※connpassページの「参加者への情報」にも記載します）

タイムテーブル

登壇者プロフィール

株式会社ログラス ソフトウェアエンジニア 加賀谷諒様

新卒でヤフー株式会社に入社。ID連携システムの開発に従事。 その後、2022年に株式会社ログラスに入社。ソフトウェアエンジニアとしてマスタ管理機能の開発、イネーブルメントチームの一員として横断課題の解決に取り組んだのち、生成AI/LLMチームを立ち上げて、LLMを用いた機能開発から社内生産性改善まで幅広く取り組んでいる

コーポレートサイト

採用ページ

株式会社MICIN プロダクトマネージャー 硴﨑裕晃様

リクルートグループのAI研究所Megagon Labs等を経て医療スタートアップのMICINに参画。2023年4月に発表されたChatGPTを用いて日本の医師国家試験に合格した論文の共著者。2024年1月に公開された日本初となるヘルスケア業界向け自主基準「ヘルスケア生成AI活用ガイド」主執筆者。現在は保健医療分野における生成AI利活用事例に関する厚生労働科学特別研究事業の分担研究者も担当している。

コーポレートサイト

採用ページ

株式会社MICIN データエンジニア 菅井友之様

ソフトウェアエンジニアとして教育系サービスの開発・運用に従事した経験を生かし、2019年からデータエンジニアにキャリアチェンジ。 2022年9月に株式会社MICINに入社。1人目のデータエンジニアとして全社データ基盤の構築と運用を推進している。

コーポレートサイト

データエンジニア採用ページ

PharmaX株式会社 取締役・エンジニアリング責任者 上野彰大

東京大学農学生命科学研究科卒業。大阪府堺市生出身。新卒でIGPI（経営共創基盤）に入社し、2018年12月にMINX株式会社を共同創業。2022年8月にPharmaX株式会社へ社名変更。全社戦略、エンジニアリング責任者。趣味でエンジニアリング勉強会を数年続けている。得意なのは、統計、機械学習、データ分析。

コーポレートサイト

採用ページ

モデレータプロフィール

PharmaX株式会社 エンジニア 江田 知優

埼玉大学理学部生体制御学科卒業。大学在学中に当社でインターン生として参画し、率直な意見を言える社風やミッション・バリューへの共感から正社員として入社。

注意事項

• 講演内容やタイムスケジュールは変更となる可能性がございます。

• 当日のイベント内容は後日任意の媒体にて公開させていただくことがあります。

• 万一イベント開催が中止の場合、本サイトからのメッセージよりご連絡させていただきますのでご確認をお願いいたします。

プライバシーポリシー

株式会社ログラス

株式会社MICIN

PharmaX株式会社

※ご提供いただいた個人情報は、イベントの運営・管理、イベントの改善又は新規企画のための分析、当社の採用情報等のご案内で利用いたします。 また、当該個人情報・内容は、ご本人様の同意を得ずに、第三者への提供はいたしません。