【ModN Tech Lounge】LLMOps実践入門！LLMアプリの評価・モニタリング・CI/CD構築に挑戦しよう

💡 イベント概要

こんにちは！ModN Tech Lounge（モダン・テック・ラウンジ）です。
私たちは、AIをはじめとする最新技術をいち早くキャッチアップ・使いこなすことで、自らの市場価値を向上させたいエンジニアのためのコミュニティです。

第8回目となる今回は、プロダクト開発・運用において重要性が急上昇している「LLMOps（Large Language Model Operations）」をテーマに、LLMアプリケーションの評価・モニタリング・プロンプト管理の自動化に挑戦します！

※ 主催者も初見・実験的アプローチを含むため、スムーズにいかないこともあるかもしれませんが、エラーや意図しない出力（ハルシネーション等）をどう検知・解決していくかのプロセスも含めて、リアルな開発・運用の空気を一緒に楽しんでいただければ幸いです！

🛠️ テーマ：本番運用を支えるLLMOpsの構築と実践

生成AIを活用したプロダクトが急速に普及する一方で、「プロンプト変更によるデグレの検知」「回答精度の定量的評価」「ハルシネーションやコスト・レイテンシのモニタリング」など、運用上の課題に直面するチームが増えています。

プロトタイプから本番運用へ移行する中で、皆さんこんな課題や興味はありませんか！？

• LLMアプリを作ってみたものの、回答精度や品質をどう継続的に評価・テストすべきか悩んでいる
• プロンプトを更新した際、既存の挙動を壊していないか（デグレ）を自動で検証するCI/CDを組みたい
• 本番環境でのユーザー入力・LLMレスポンスのトレースやコスト、ハルシネーションを可視化・検知したい
• LangSmith、Promptflow、Arize Phoenix、MLflow などのLLMOpsツール群の違いや使い分けを知りたい

そんな中「LLMOps × 実践開発」の特徴は・・・

• 品質の可視化と改善サイクル: ブラックボックスになりがちなLLMの挙動・中間ステップを可視化（Trace）し、デバッグや精度改善のボトルネックを即座に特定可能
• プロンプトのコード管理＆自動評価: プロンプトをリポジトリで管理し、テストデータセットを用いた自動評価パイプラインを構築することで、安全なリリースを実現
• 本番可観測性（Observability）の向上: リクエストごとのトークン費用、レスポンス速度、ユーザーフィードバックを一元管理し、ROIの高い運用を実現
  
  

みんなで最先端のLLMOpsツール群と設計手法に触れてみませんか？ご参加を心よりお待ちしております✨

📆 タイムテーブル

時間	内容	備考
18:50〜19:00	受付開始	参加登録後に閲覧可能な「参加者への情報欄」に従ってオンラインにてご参加ください
19:00〜19:05	オープニング	コミュニティの趣旨説明・本日のゴール共有
19:05〜20:25	LLMOps実践！評価・モニタリング・CI/CD構築に挑戦してみよう	講師の舟木がLLMOpsツールの導入・パイプライン構築に挑戦！ゲストとの対談を交えたリアルタイム実況（たっぷり80分）
20:25〜20:30	クロージング	アンケート等

※ タイムテーブルの内容は、当日までに一部変更となる可能性があります。

📍 開催場所

• オンライン開催
  ※ 参加URLは、公式Discord内の#全体告知のチャンネルに記載されるご案内に従ってオンラインにてご参加ください

Discordコミュニティにぜひご参加ください
イベントに関するコードの共有や、終了後のアフターフォロー、次回のアナウンス等を行います。よければ下記よりご参加ください。

公式Discordに参加する : https://discord.gg/ftQmtQxJQ

講師

舟木 類佳（Ruka Funaki）

東京大学情報理工学系研究科創造情報学専攻修了。大学院では画像認識と自然言語処理を組み合わせたマルチモーダル機械学習の研究を実施。 その後、株式会社リクルート（旧、株式会社リクルートホールディングス）にて、プロダクトオーナーとして１０を超える画像認識・機械学習・自然言語処理のプロジェクトを推進。 後に株式会社LegalOn Technologies（旧、株式会社LegalForce）の執行役員 兼 最高研究開発責任者（CRO: Chief Research and Development Officer）としてAI契約審査プラットフォーム「LegalForce」、AI契約書管理支援システム「LegalForceキャビネ」の立ち上げを実施。その後、執行役員 兼 イノベーション推進責任者として新製品の立ち上げを実施。 傍ら、株式会社Luumを設立し、代表取締役としてシステム受託開発事業、不動産賃貸業、旅館・民泊事業、を行う。

参加対象者

• LLMを活用したプロダクト開発・運用に携わっている、またはこれから本格導入を検討しているエンジニア
• プロンプト評価の自動化や、LLMアプリのCI/CDパイプライン構築に関心がある方
• LangSmith / Promptflow / Arize Phoenix / MLflow などのLLMOpsツールの実践的な使い方やトレース分析を体験したい方
• 短時間で効率よく最先端の技術トレンドや運用ノウハウをキャッチアップし、市場価値を高めたい方

参加費

無料

注意事項

• ハラスメント禁止: 参加者への攻撃的な言動、過度な勧誘、引き抜き行為は固くお断りします。
• プライバシー: 会場内の様子をSNS等にアップする際は、他の方の顔が映らないようご配慮ください。
• キャンセル: 準備の都合上、無断キャンセルはご遠慮ください。欠席の場合はお早めにConnpassよりキャンセル処理をお願いします。
• コミュニティの趣旨: 技術交流とキャリア形成を目的としています。趣旨にそぐわないと判断した場合は参加をお断りする場合がございます。