LangSmith入門―トレース／評価／プロンプト管理などを担うLLMアプリ開発プラットフォーム

講座概要

大規模言語モデル（LLM）を活用したアプリケーション開発への取り組みが活発になり、最近ではプロダクショングレードなLLMアプリの開発で生じる様々な課題が議論されるようになってきました。

プロダクショングレードなLLMアプリ開発のためのプラットフォームの1つが「LangSmith」です。

LangSmithは、LLMアプリ開発のフレームワーク「LangChain」の開発元が提供しており、LangChainと非常に簡単に統合してトレースを収集できることで有名です。

しかし実は、LangSmithの機能はさらに多岐に渡っており、データセットの管理やアノテーションキューといった評価のための機能、プロンプトの管理・共有のための機能など、LLMアプリ開発の様々な場面で活用することができます。

この勉強会では、LangSmithの入門としてTracing / Evaluation / Prompt HubといったLangSmithの各種機能を解説していきます。

アジェンダ

• LangSmithの概要
• LangSmithの機能解説 (Tracing / Evaluation / Prompt Hubなど)

主な対象者

• LangSmithに興味がある方

前提とする知識

• Pythonの基礎知識
• OpenAIのChat Completions APIの基礎知識
• LangChainの基礎知識 (PromptTemplateやChainの概念を理解している程度) ※1

※1 LangChainの基礎知識のための参考資料

LangChainの基礎知識のための参考資料としては、過去の勉強会「プロンプトエンジニアリングから始めるLangChain入門」の発表資料・アーカイブ動画を参照いただくのがおすすめです。

• 発表資料: https://speakerdeck.com/os1ma/puronputoenziniaringukarashi-merulangchainru-men
• アーカイブ動画: https://youtube.com/live/8FPgoCjoenI

または、書籍『ChatGPT/LangChainによるチャットシステム構築［実践］入門』をおすすめします。

会場

Zoomウェビナーでの開催となります

※ 参加登録してくださった方に、このページ上部の「参加者への情報」の欄にZoomのURLが表示されます。

タイムテーブル

※質疑の内容や数などにより、終了時刻が前後する可能性があります。

発表者プロフィール

株式会社ジェネラティブエージェンツ取締役CTO/Co-founder。大規模言語モデルを組み込んだアプリケーションやAIエージェントの開発を実施。個人ではエンジニア向けの勉強会開催や教材作成など。オンラインコースUdemyではベストセラー講座多数。勉強会コミュニティStudyCo運営。「ChatGPT/LangChainによるチャットシステム構築［実践］入門」共著。

SNS: https://twitter.com/oshima_123