生成AIアプリを観測してみよう！
イベント内容
概要
現在、⽣成AIに関する関⼼が⾼まっており、⼤規模⾔語モデル(LLM)を活⽤したAIアプリケーションに注目が集まっております。
そのような中、代表的なLLM (GhatGPT, Gemini, IBM Watsonx など)のサービスプロバイダーの多くははinput / outputのトークン利用量に応じた課金体系を取っている状況です。
しかし、LLMを活用したAIアプリケーションを管理する上で、実際のトークン利用量を把握するのは難しく、トークン利用量を管理しながらLLMコスト自体を適切にコントロールすることへのニーズが高まっています。
このようなLLMのトークン利用量やコストの把握に対する課題を解決するためのオープンソース・ソフトウェアの「OpenLLMetry」を今回のイベントでは学習します。
OpenLLMetryを活⽤することえ、⽣成AIが組み込まれたLLMアプリケーションの可観測性を獲得し、トークン使用量、レイテンシー、コストなどの追跡をすることでLLMアプリケーションの可観測性を強化することができます。
なお、今回の発表は、生成AIに興味があるエンジニア向け、生成AIのエンジニア向けを対象に対象にしております。
-
座学として、生成AIの近況・課題・解決策について学習内容を基に発表します
-
デモとして、LLMを活用したAIアプリケーションのトークン使用量、レイテンシー、コストなどを追跡できるところを見てみましょう！
また、デモではInstanaというAPM (Application Performance Monitoring)ソリューションを利用して可視化を体験していただく予定です。
事前準備などは特に必要ございませんので、初学者の方もお気軽にご参加ください！
※スピーカーの勉強内容を基に発表いたします。
＞＞7/22(月)：概要を一部修正
注意
本イベントは生成AIの可観測性 (Observability) をテーマにした勉強会です。
AIモデルの解説、リッチな機能を持つ生成AIアプリの実装や挙動確認をすることには主眼を置いていない点をあらかじめご了承ください。
タイムテーブル
| 時間 | 内容 |
|---|---|
| 17:55-18:00 | オンライン接続 |
| 18:00-18:05 | オープニング |
| 18:05-18:55 | 座学・デモ |
| 18:55-19:00 | QA・クロージング |
終了後は、アンケート入力をよろしくお願いいたします。
発表者
喜多 司
日鉄ソリューションズ株式会社
技術本部 システム研究開発センター菊澤 佑斗
日鉄ソリューションズ株式会社
技術本部 システム研究開発センター江﨑 崇浩 (LinkedIn / X (Twitter) )
日本アイ・ビー・エム株式会社
テクノロジー事業本部
カスタマー・サクセス・マネージャー
注意事項
※ 掲載タイミングや更新頻度によっては、情報提供元ページの内容と差異が発生しますので予めご了承ください。
※ 最新情報の確認や参加申込手続き、イベントに関するお問い合わせ等は情報提供元ページにてお願いします。
新規会員登録
このイベントに申し込むには会員登録が必要です。
アカウント登録済みの方はログインしてください。
※ ソーシャルアカウントで登録するとログインが簡単に行えます。
※ 連携したソーシャルアカウントは、会員登録完了後にいつでも変更できます。
