LLM Night〜本番運用して気づいた課題と学び〜

2024/04/24(水)19:30 〜 21:00 開催

ブックマーク

#大規模言語モデル（LLM）, #機械学習, #生成AI

イベント内容

概要

今回は、LLMアプリケーションをリリースして見ての大変さ・難しさにフォーカスして語ります。

LLMアプリケーションの開発が行われるようになり、本番運用している企業も増えてきました。一方、まだ本場運用で実際にどのような困難があったのか？という情報は少ない状態です。

・各社がどのようにLLMアプリケーションの検証を行い、時にはGo or Not Goの判断含めてどのようにプロダクト開発のプロセスに乗せているのか・リリース後どのような大変さがあって、どのような改善を行っているのか
・どのような困難はまだ乗り越えられていないか・今後どのような課題にぶち当たりそうかなどについて、生々しいお話を聞ける機会も多くはありません。

今回は、LLMアプリケーションを実際に開発・運用している各社にお集まりいただき、各社がどのようなところで躓いたのか？、今どのような課題を解決しようとしているのか？解決できないで困っている課題は何か？を語り合います。

こんな人におすすめ

LLMアプリケーション開発の最新トレンドを知りたい方
LLMアプリケーションのに検証〜開発〜運用改善の工夫やプロセスついて他社事例などを詳しく知りたい方
LLMアプリケーションを開発して本番運用しているorしようとしているPdM・エンジニアの方

対象者

これからLLMを活用したアプリケーション開発をしようとしている方
少しでもLLMを活用したアプリケーション開発をしたことがある方
LLM・AIの基礎知識のある方（LLMとはなにか？というような基礎的なお話はありません）

登壇企業

株式会社カラダノート

LTタイトル：LLMアプリケーションリリース後の苦労とGROW

カラダノートでは「家族の健康を支え笑顔をふやす」というビジョンのもと、主に妊娠育児層の方に向けてプロダクトを提供しています。モバイルアプリの領域では「陣痛きたかも」「授乳ノート」「ステップ離乳食」などがあります。

昨年は既存のモバイルアプリに生成AIを活用した新機能をリリースしましたが、リリース後の改善活動に多くの課題を感じています。技術面、マーケティング面、組織面等々、溢れる苦労と今後のGROWについてお話ししたいと思います。

株式会社SmartHR

LTタイトル：「見せ球」「作って終わり」のLLM機能卒業のために

SmartHRでは、タレントマネジメント領域のアプリを複数提供しています。そのうちの「従業員サーベイ」機能で、LLMを活用した回答の要約機能を昨年リリースしました。

この要約機能開発における反省点や失敗を振り返りつつ、LLM機能を真にユーザーに価値あるものにするために企画・リリース・改善のプロセスそれぞれで何が必要なのかについてお話しします。

PharmaX株式会社

LTタイトル：しくじり先生、PharmaXのLLMアプリケーション開発の失敗を語る

PharmaXは、オンライン完結で医薬品を購入可能な薬局を運営するスタートアップです。PharmaXでは、薬剤師がチャットする内容をLLMでサジェストするシステムを本番運用しています。 LLM機能リリースに至るまで、リリース後もたくさん失敗を繰り返してきました。正直に言えば、まだ解決できていない課題も多くあります。今回は、ツラミにフォーカスして、PharmaXのリアルな現在地をお伝えできればと思います。

開催概要

日程：2024年4月24日（水）19:30〜21:00 （10分前から入室可能です）

開催場所：オンライン（Zoom・申込者にURLを後日ご案内します）

開催前日、メールにて視聴URLをお送りしますので必ずご確認ください（※connpassページの「参加者への情報」にも記載します）

タイムテーブル

時刻	内容
19:20	開場
19:30	オープニング
19:40	各社のLT
20:40	パネルディスカッション
20:50	Q&A
20:55	まとめ
21:00	閉会

登壇者プロフィール

株式会社カラダノート執行役員・プロダクト本部長　堀内栄一様

大学在学時からエンジニアを目指し、大学院でコンピューターサイエンス（情報工学）の修士号を取得。e-learning系のベンチャーでWebセミナーシステムの開発責任者およびエンジニアリングマネージャーを経験後、コーポレートビジョン「家族の健康を支え笑顔をふやす」に惹かれ、2020年7月よりカラダノート参画。

コーポレートサイト

採用ページ

株式会社SmartHR Product Manager 金岡亮様

SmartHRのプロダクトマネージャー。タレントマネジメントプロダクトPO、グロースPM、LLM活用チームの立ち上げを兼任。前職ではAI専門の受託開発チームでプロジェクトマネージャーやデータアナリストを担当していた。趣味は個人開発で、休日はLLM関連のハッカソンに出たり。

コーポレートサイト

採用ページ

PharmaX株式会社取締役・エンジニアリング責任者上野彰大

東京大学農学生命科学研究科卒業。大阪府堺市出身。新卒でIGPI（経営共創基盤）に入社し、2018年12月にPharmaX株式会社（旧・株式会社YOJO Technologies）を共同創業。全社戦略、エンジニアリング責任者。趣味でエンジニアリング勉強会を数年続けている。得意なのは、統計、機械学習、データ分析。

コーポレートサイト

採用ページ