はじめに 前回の記事では、LangfuseをAWS上にデプロイしてLLMアプリケーションのトレースを可視化する方法をご紹介しました。トレースによって「何が起きているか」は見えるようになりましたが、これだけでは「その回答は良いのか悪いのか」を判断することはできません。 そこで今回は、Langfuseの「評価」機能を使って、LLMの回答品質を自動で数値化し、ダッシュボードでリアルタイムに可視化する方法をご紹介します。 前提条件 Langfuse環境 ( 前回の記事でデプロイ済み ) 観測対象のRAGシステム

はじめに LLMアプリケーションを開発していると、こんな悩みはありませんか？ プロンプトのチューニングをしているけど、どの変更が改善につながったか分からない ユーザーがどんな使い方をしているのか把握できない エラーが発生しても、何が原因なのか追跡できない トークン使用量やレスポンス時間を可視化したい こういった課題を解決してくれるのが、LLMアプリケーション向けの可観測性プラットフォーム「Langfuse」です。 Langfuseを使うと、LLMアプリケーションの動作をトレース（追跡）し、プロンプトの履歴

この記事は Safie Engineers' Blog! Advent Calendar 2025 9日目の記事です。 はじめに こんにちは、エンジニアリングオフィスの横道 ( @m_yokomichi )です。 2025年、AI技術は私たちの予想を超えるスピードで進化を遂げました。いまや生成AIを使いこなせるか否かは、個人の生産性だけでなく、 エンジニアとしてのキャリア、ひいては企業の競争力そのものを左右する と言っても過言ではありません。 今後、活用できる層とそうでない層の差は広がる一方です。そのため

プロダクションで稼働しているAI機能のフレームワークをLangGraphに完全移行しました この記事は every Tech Blog Advent Calendar 2025 の 13 日目の記事です。 背景 課題解決のために 明確な責務分離が可能 ワークフローの変更柔軟性、拡張性 プロバイダに依存しない プロバイダの置き換えやすさ 型制約（Structured Outputのため） テストのしやすさ LangGraphの採用 ディレクトリ構成 Stateの定義 Node の定義 サブワークフローの定義

一橋大学ソーシャルデータサイエンス研究科修士1年の日高逸稀です。2025年10月2日から10月31日まで4週間、分析ユニット内のソーシャルコマースディビジョンにて、インターンに参加させていただきました...

こんにちは、ソリューションアーキテクトの尾澤です。 この記事は 「aptpod Advent Calendar 2025」 の12月9日の記事です。 皆さんは ChatGPT や Gemini のような「LLMチャットツール」をどのように活用していますか？PDF資料を分析するためにNotebook LMのような「RAGツール」を活用する場面もあるでしょう。とても便利で、すでに仕事道具として手放せないという人も多いのではないでしょうか？ 本記事では、これらのツールをSaaSに頼らずオンデバイスで動かせるよう

こんにちは！データサイエンティストの白井です。 今日は、私が第35回人工知能学会金融情報学研究会(SIG-FIN)で発表した LLMs による利益予測の分析とアウトオブサンプル評価 について紹介します。 本記事は、 Insight Edge Advent Calendar 2025 の9日目の記事となっております。 また Advent Calendarの7日目 には、35回SIG-FINの包括的なレポート記事もありますので、ご興味があれば覗いてみてください！ はじめに EDINETについて 有価証券報告書

はじめに こんにちは、GenAI Enablementチームです。 この記事はファインディエンジニア #3 Advent Calendar 2025の9日目の記事です。 今年1月に「GenAI Enablementチーム」を立ち上げてから現在までの約1年間における活動を総括します。 チーム組成から今日に至るまで、どのような課題に直面し、それらをどう解決して成果に繋げてきたのか。その過程で得られた「理想と現実」のギャップや、具体的な成果・反省点について詳述します。 今後、自社でのGenAI活用推進を担う方々

本記事は【 Advent Calendar 2025 】の8日目の記事です。 ITD 1-2 開発課のO・Aです。最近は流行りの3周遅れくらいで麻辣湯にハマっているのと、データベース周りに興味があります。 今月11月4日に、 国土交通省が無償でMCP serverを公開 したことが話題（たぶん）になっていて気になったので、触ってみました。 MCPとは 「MCP」（Model Context Protocol）は、大規模言語モデル（LLM）などを使ったAIアプリケーションと、外部のツールやデータとの連携を標

この記事はRevComm Advent Calendar 2025 8日目の記事です。 qiita.com 1. はじめに こんにちは。Research Engineerの髙瀬です。 近年、大規模言語モデル（LLM）の性能向上により、テキスト生成や分類タスク、さらには評価やアノテーションなど、様々な場面でLLMが活用されるようになってきました。個人的にも注目しているのが、「LLM as a Judge」というアプローチです。これは、LLM自体を評価者として活用し、他のLLMの出力や分類タスクの正誤を自動的

こんにちは、SCSK斉藤です🐧 2025年11月にSnowflake Intelligenceがついに一般提供(GA)になりました。こちらは生成AIを利用して自然言語によるデータ検索や要約を可能にしてくれるインテリジェンスエージェントサービスです。 前回のブログでは、Snowflake Intelligenceの概要とセットアップ方法について弊社松岡より紹介しました。今回はその続きとして、実際にSnowflake Intelligenceを利用する為の過程・SCSKならではの支援について案内します！ Sn

こんにちは、AIチームの大竹です。 この記事は AI Shift Advent Calendar 2025の8日目の記事です。 2024年10月、OpenAIが発表した Realtime API は、音声入出力をリアルタイムで処理できるAPIとして大きな注目を集めました。音声から音声への一気通貫した処理（Speech-to-Speech）が可能になることで、ボイスボットや音声対話AIアシスタントの可能性が一気に広がったのは記憶に新しいところです。 さて、このRealtime APIですが、 OpenAIは

こんにちは！フロントエンドエンジニアの張です！ この記事は Enigmo Advent Calendar 2025 の8日目の記事です。 「型安全」、「堅牢性」、「開発体験」、どれもエンジニアでしたら、近年よく聞くキーワードだと思います。特にウェブ開発、フロントエンド開発界隈では、それらを改善するためにTypeScriptを導入・採用するチームが増える一方です。 でも、「それでは足りない、もっと堅牢的、かつ保守しやすいTypeScriptを書きたい！」だと主張するコミュニティが実は存在していて、彼らがたど

はじめに こんにちは！リクルートで検索エンジニアをしている中野 (@y_nak6 ) です。 私は 2025 年 7 月にイタリア北部のパドヴァで開催された SIGIR

この記事は KINTOテクノロジーズ Advent Calendar 2025 の7日目の記事です🎅🎄 はじめに こんにちは、KINTO テクノロジーズ Cloud Security グループの多田です。普段は 大阪 (Osaka Tech Lab) で勤務しています。 我々が開発する多くのサービスは、Amazon Web Services 上で開発していますが、昨今は生成 AI の活用も盛んで、OpenAI の利用に伴い、Microsoft Azure での開発も増えてきました。 本記事では、Azure