概要

今回は、LLMの検証〜開発〜運用改善の工夫やプロセスについて語ります。

LLMアプリケーションの開発が行われるようになり、本番運用している企業も増えてきました。 よいLLMアプリケーションを作るための工夫としてのプロンプトエンジニアリングやRAGなどの手法は、エンジニア界隈では広く一般に知られるようになってきました。

一方、LLMの検証・開発・運用の工夫やプロセスについてはまだベストプラクティスが出揃っておらず、各社が手探りで行っているような状態です。

・各社がどのようにLLMアプリケーションの検証を行い、時にはGo or Not Goの判断含めてどのようにプロダクト開発のプロセスに乗せているのか
・リリース後どのようなプロセスで改善を行っているのか などについては生々しいお話を聞ける機会も多くはありません。

今回は、LLMアプリケーションを実際に開発・運用している各社にお集まりいただき、各社が取り組んでいるLLMの工夫などの実践的な内容をお話いただきます。
特に各社がどのようなところで困っているのか？というお話が聞ける今回のような機会は非常に貴重かと思います。

こんな人におすすめ

• LLMアプリケーション開発の最新トレンドを知りたい方
• LLMアプリケーションのに検証〜開発〜運用改善の工夫やプロセスついて他社事例などを詳しく知りたい方
• LLMアプリケーションを開発して本番運用しているorしようとしているPdM・エンジニアの方

対象者

• これからLLMを活用したアプリケーション開発をしようとしている方
• 少しでもLLMを活用したアプリケーション開発をしたことがある方
• LLM・AIの基礎知識のある方（LLMとはなにか？というような基礎的なお話はありません）

登壇企業

LAPRAS株式会社

LTタイトル：検証からプロダクトへ - シームレスなLLM開発のためのしくみ作り

LLMの登場により、AIを用いたプロトタイプがすばやく構築可能になりましたが、検証を経てプロダクトに実装する上では、品質管理やリリース後の運用など、様々なハードルを越える必要があります。そのためには、技術検証からプロダクト実装までをシームレスに繋ぐ、技術面、組織面でのしくみづくりが重要です。
LAPRASがこれまでのAI機能開発で実践してきたしくみづくりについて、インフラ、CI、テスト、チーム間の協業などの観点でお話しします。

株式会社Gaudiy

LTタイトル：複数の LLM モデルを扱う上で直面した辛みまとめ

弊社では昨年より OpenAI 社の GPT-4 を活用してクローズドテストなどを行ってきましたが、主にコスト面から GPT-3.5, Gemini Pro, OSS モデルなどの活用もし始めています。
複数のモデルを扱い始めて初めて見えた課題、例えばモデル毎に有効なプロンプトテクニックが変わったり、LangChain などのライブラリがモデルによって機能差があったり、LangSmith というロギングツールの Playground が対応していないモデルがありプロンプトチューニングの場を突如失ったり…。そんな課題たちと今後の展望について語ります。

PharmaX株式会社

LTタイトル：LLMアプリケーションの改善プロセスの構築

PharmaXは、オンライン完結で医薬品を購入可能な薬局を運営するスタートアップです。PharmaXでは、薬剤師がチャットする内容をLLMでサジェストするシステムを本番運用しています。
そのLLMアプリケーションをリリース後どのように改善していっているのかを評価の基盤、プロセス、体制づくりなど複数の側面から語ります。今後の展望についてもお話できればと思います。

開催概要

日程：2024年3月27日（水）19:30〜21:00 （10分前から入室可能です）

開催場所：オンライン（Zoom・申込者にURLを後日ご案内します）

開催前日、メールにて視聴URLをお送りしますので必ずご確認ください（※connpassページの「参加者への情報」にも記載します）

タイムテーブル

登壇者プロフィール

LAPRAS株式会社 R&D責任者 / プロダクトマネージャー 鈴木亮太様

東京工業大学で物理学を専攻。電機メーカーで機械学習・信号処理の研究に従事したのち、2018年にMLエンジニアとしてLAPRASにジョイン。ICML2019にて主著論文発表。テクノロジーをユーザー価値に結びつけるべくプロダクトマネージャーに転向し、現在はプロダクトマネージャー兼R&D責任者としてAIを活用したプロダクト開発を統括。

コーポレートサイト

採用ページ

株式会社Gaudiy MLエンジニア seya様

2023年6月Gaudiy入社のソフトウェアエンジニア。基本的にはフロントエンドエンジニアだったはずだが、LLM周りの開発が楽しくて入社以来機械学習に目覚めた。一歳のかわいい猫(サイベリアン♂️)と暮らしている。

コーポレートサイト

採用ページ

PharmaX株式会社 取締役・エンジニアリング責任者 上野彰大

東京大学農学生命科学研究科卒業。大阪府堺市出身。新卒でIGPI（経営共創基盤）に入社し、2018年12月にPharmaX株式会社（旧・株式会社YOJO Technologies）を共同創業。全社戦略、エンジニアリング責任者。趣味でエンジニアリング勉強会を数年続けている。得意なのは、統計、機械学習、データ分析。

コーポレートサイト

採用ページ

モデレータプロフィール

PharmaX株式会社 エンジニア 加藤智之

北里大学薬学部卒業。 2019年12月に代表の辻から誘われ、第一号エンジニア社員としてPharmaX株式会社（旧・株式会社YOJO Technologies）にジョイン。ソフトウェアエンジニアとして、PharmaXのサービス開発に携わっている。薬剤師免許所持。

注意事項

• 講演内容やタイムスケジュールは変更となる可能性がございます。

• 当日のイベント内容は後日任意の媒体にて公開させていただくことがあります。

• 万一イベント開催が中止の場合、本サイトからのメッセージよりご連絡させていただきますのでご確認をお願いいたします。

プライバシーポリシー

PharmaX株式会社

※ご提供いただいた個人情報は、イベントの運営・管理、イベントの改善又は新規企画のための分析、当社の採用情報等のご案内で利用いたします。 また、当該個人情報・内容は、ご本人様の同意を得ずに、第三者への提供はいたしません。

主催

PharmaX株式会社

コーポレートサイト

採用ページ