生成AIアプリを観測してみよう！OpenLLMetryハンズオン編

概要

現在、⽣成AIに関する関⼼が⾼まっており、⼤規模⾔語モデル(LLM)を活⽤したAIアプリケーションに注目が集まっております。

そのような中、代表的なLLM (GhatGPT, Gemini, IBM Watsonx など)のサービスプロバイダーの多くははinput / outputのトークン利用量に応じた課金体系を取っている状況です。

しかし、LLMを活用したAIアプリケーションを管理する上で、実際のトークン利用量を把握するのは難しく、トークン利用量を管理しながらLLMコスト自体を適切にコントロールすることへのニーズが高まっています。

そこで、前回の勉強会 では、このようなLLMのトークン利用量やコストの把握に対する課題を解決するためのオープンソース・ソフトウェアの「OpenLLMetry」について座学で学びました。

OpenLLMetryを活⽤することで、⽣成AIが組み込まれたLLMアプリケーションの可観測性を獲得し、トークン使用量、レイテンシー、コストなどの追跡をすることでLLMアプリケーションの可観測性を強化することができます。

今回は、OpenLLMetryによるLLMの可観測性の担保を体験してもらうためのハンズオンを実施します。

前回の勉強会

生成AIアプリを観測してみよう！

前回の勉強会に参加していなくてもついてこれるようなコンテンツを考えております。

参加されていない方はよろしければアーカイブ動画・資料を公開しており、そちらを事前にご確認いただけるとキャッチアップがスムーズかと思うので、ぜひご確認ください。

対象者

• 生成AIを使ったアプリを開発しているエンジニア
• 生成AIに興味があるエンジニア

ハンズオンの事前準備

Killercodaが使えるように事前準備をしておいてください

https://killercoda.com/

※無料プランの範囲内でハンズオンを実施する予定です

※アカウントを持っていない方は、Loginからアカウントの登録をお願いします

※当日はアカウント登録のフォローアップは時間の都合上できない点をあらかじめご了承ください

追記：ハンズオンのシナリオはこちらです (Killercoda)

https://killercoda.com/tofuchic/scenario/openllmetry-quickstart

必要とする知識・スキル

Pythonのコード実装やコマンドの入力をしますので、アレルギー反応を起こさない方

（基本的にはコピペで手順をそのまま実行する内容を想定しているので、高度な実装スキルは不要です）

注意

本イベントは生成AIの可観測性 (Observability) をテーマにした勉強会です。

AIモデルの解説、リッチな機能を持つ生成AIアプリの実装や挙動確認をすることには主眼を置いていない点をあらかじめご了承ください。

タイムテーブル

終了後は、アンケート入力をよろしくお願いいたします。

発表者

喜多 司
日鉄ソリューションズ株式会社
技術本部　システム研究開発センター

菊澤 佑斗
日鉄ソリューションズ株式会社
技術本部　システム研究開発センター

江﨑 崇浩 (LinkedIn / X (Twitter) )
日本アイ・ビー・エム株式会社
テクノロジー事業本部
カスタマー・サクセス・マネージャー