TECH PLAY

LLM Opsの実践  SaaSに組み込んだAI機能の品質・コスト・改善サイクル
2026/07/28(火)19:00 〜 22:00
Bookmark Icon

LLM Opsの実践 SaaSに組み込んだAI機能の品質・コスト・改善サイクル

現地開催

参加枠

0/定員100
現地参加先着順無料
7定員100

基本情報

日時
開催形式
現地開催
会場
フリー株式会社 大崎本社 19F アソビバ

イベント内容

📋 概要

SaaSに組み込まれたLLMは、従来のソフトウェアコンポーネントとは異なる運用課題を持っています。出力は確率的で、モデルは外部プロバイダに依存し、品質評価やコスト管理の方法もプロダクトごとに大きく変わります。LLM機能は「一度リリースしたら終わり」ではなく、継続的に観測・評価・改善しながら育てていく必要があります。

一方で、LLMOpsの実践知はまだ各社の中に閉じていることが多く、具体的な設計や運用の判断軸は共有されにくいのが現状です。

本イベントでは、SaaSのAI機能を本番運用するうえで重要になるオブザーバビリティ・評価駆動開発・AI Agentの設計/改善をテーマに、Sansan、フリー、ログラスの実践事例を共有します。AI機能を「動く」から「運用し続けられる」状態へ進めるための、現場の具体的な判断軸と改善サイクルを持ち帰れる場を目指します。

🕑タイムテーブル

時間セッション企業スピーカー
19:00オープニング--
19:05セルフホストLangfuseを安全に本番運用するために必要だった設計と、そこから生まれた成果Sansan株式会社小松 展久
19:25freeeにおける評価駆動開発の実践の紹介フリー株式会社Kengo Nakamura
19:45決定論と非決定論を組み合わせたAI Agentの構築と改善株式会社ログラス山崎 倫太郎
20:05懇親会--
21:25クロージング--

👷‍♂️ こんな方におすすめ

  • LLM/AI Agentを組み合わせたプロダクト開発に関心がある方
  • LLMOps基盤を本番運用するうえでの設計・セキュリティ・運用体制に関心がある方
  • AI機能の品質評価、コスト管理、LLM-as-a-Judge、改善サイクルの作り方に課題を感じている方

✅ イベントのゴール

  • 観測すべきポイントを知る:LLM固有の可観測性や、従来のアプリケーション監視との違いを理解し、自社でどこから取り組むべきかを整理する
  • ツール選定と品質評価の観点を学ぶ:技術スタック、チーム規模、データ主権要件を踏まえた選定軸や、LLM-as-a-Judge、出力バリデーション、評価データ管理を改善につなげる方法を知る
  • コスト管理と改善サイクルを考える:LLMのコストを可視化し、モデル選定や開発優先度に反映する方法、検知から改善までのループをチームに定着させる考え方を持ち帰る

🎤 登壇者

セルフホストLangfuseを安全に本番運用するために必要だった設計と、そこから生まれた成果

3966ca6eae0d87dd39e15c26bce0ba98 1.png
小松 展久
Sansan株式会社
研究開発部Architectグループ ソフトウェアエンジニア

金融系SIer、通信会社、SaaSベンチャーを経て2021年にSansanに入社。Contract Oneの開発・運用に携わり、その後は研究開発部で関連システムの開発・運用を担当。


freeeにおける評価駆動開発の実践の紹介

82d773dc2aea4377f483621adb57eda2 1.png
Kengo Nakamura (@shallow1729)
フリー株式会社
AIラボ 基盤チーム テックリード

freeeでは一度DBREのリーダーをした後転職、出戻りして基盤開発チームのテックリードを担当。現在はAIラボに所属。


決定論と非決定論を組み合わせたAI Agentの構築と改善

69d5ccbc1c8e849480e3a710a0ff857a 1.png

山崎 倫太郎 (@zakky_dimn)
株式会社ログラス
AIソリューション事業本部 FDE

新卒でtoB向けのコンサルティング・アナリティクス業務に従事した後、PdM兼エンジニアへとキャリアチェンジ。主にサーバーサイドやクラウドインフラの開発を経験。ITベンチャー数社にてWebアプリケーションを中心に開発のリードを担当後、DeNAグループ会社にてエンジニア組織の副部長として開発組織マネジメントに従事。2025年からログラスにてFDEとしてAI Agent新規事業を担当。

⚠️ 諸注意

  • 本イベントはオフライン開催です。会場情報・入館方法は参加確定者にconnpass経由でご案内します
  • 撮影・録音については、当日スタッフの案内に従ってください
  • 20時以降のご参加はお断りしております。
  • エージェントの方や営業目的でのイベント参加はご遠慮ください
  • 性別/性的指向/障碍の有無/人種/宗教/年齢/容姿/体格/技術の選択に関わりなく、誰もが気持ちよく参加できるようにご協力ください
  • 当イベントの内容およびスケジュールは、予告なく変更となる場合があります。予めご了承ください
  • イベント参加時に入力いただいた情報は、以下に基づき扱います。ファインディ株式会社 プライバシーポリシー

⚓️ SaaS Harborについて

B2B SaaSに関わるすべての挑戦者のためのコミュニティです。立場や職種を超えてつながり、誰もが顧客への価値提供に熱中できる場を目指しています。

  • 職種を超えたフラットな交流:エンジニア、PM、事業責任者、マネジメント層など、キャリアやフェーズを超えてつながれます。
  • 現場の「リアルな知見」を共有:単なる成功体験だけでなく、泥臭い失敗談や意思決定の背景といった“血の通った知見”をオープンに扱い合います。
  • 共に学び、共につくる:参加者同士が刺激を与え合い、日本のSaaSプロダクトの進化をカジュアルに加速させる場です。

🎈 コミュニケーション空間(Discord)はこちら:https://discord.gg/Jgqdd38gE2

📢 主催・運営

【主催】株式会社アンチパターン

fbc3b50a0785579c03c1ed172130edf2 1.png

株式会社アンチパターン

【共催】ファインディ株式会社

image 1.png

ファインディ株式会社

  • お問い合わせ: event@findy.co.jp