アーカイブ動画

RAGアプリケーションの構築と改善の事例紹介

〈みずほ〉のDX戦略や推進の組織体制、ならびに事例紹介としてRAGアプリケーション構築と改善を語ってくれたのは、みずほフィナンシャルグループのヴァイスプレジデント、山根智之氏だ。

山根氏は、入社以来グループ企業での業務も含め、与信審査モデル開発をはじめとした、AI・機械学習に関する各種業務に携わってきた。

株式会社みずほフィナンシャルグループ
デジタル企画部 AIX推進室
ヴァイスプレジデント　山根 智之氏

みずほファイナンシャルグループでは、現在DXに注力しており、グループ共通のCDOをトップに、山根氏が所属するデジタル企画部などの組織体制も整備。その一環として、生成AI活用も推進している。

生成AIの具体的な取り組みやソリューション開発については、2023年から着手を開始。社内における生成AI導入のロードマップを3フェーズで制定し、フェーズ1では社内向けのテキスト生成AI「Wiz Chat」を皮切りに、生成AIの活用方法を出し合うアイデアソンなども実施してきた。

今回は、フェーズ2で取り組んだ行内の各種事務手続きの文書に関する情報検索ならびに、質疑応答に寄与する生成AIツール「Wiz Search」の初期開発時の取組について紹介する。

Wiz Searchは、生成AIの回答精度を向上させるRAGの仕組みを用いている。

具体的には、あらかじめ手本となる事務手続き文書を、埋め込みモデルによりベクトル化、チャンク化した後、Vector Storeに溜めておく。

セッション内では、実際にVector Storeに格納しているドキュメントも紹介された。

ユーザーから質問があった際は、Vector Store内のチャンク化された手続き文書の中で、最も適切だと思われる文書を見つける。

その情報を質問文と共にプロンプトへ入れ込み、LLM（大規模言語モデル）に投げかけ、手続き書の内容を含む回答を得るというスキームだ。

開発においては、RAGシステムの設計と構築から開始。ベーシックな改良を実施した初期版をリリースした後、実際にユーザーに使ってもらい、フィードバックをもらうことで、さらなるアルゴリズムの改善を行い、精度向上を目指した。

山根氏は、具体的なシステム構成図も示した。AzureのApp Serviceを利用する事で、機械学習エンジニアが中心のチームでも、アプリケーションデプロイをスムーズに行うことが出来たと説明した。

ベースとなるRAGシステムの構築においては、ユーザーの質問クエリ自体をアプリケーション内部で変換する事、Vector Store格納の際に各種エンベディング調整を行うなどの工夫を行った。

クエリ変換は、ユーザーの質問を回答生成しやすいように直す他、HyDE等の応用的な手法についても調査を行った。

エンベディング調整においては、chunk sizeやoverlap等のパラメータ調整を行うなどした。

また、複数の技術要因が絡むRAGアプリケーションにこれら改善手法を適用する場合、RAGのフローの「どこに」「どの程度」改善があったのかを適切に評価する事が重要となる。本件では、各種取組の効果を把握するため、RAGの性能評価フレームワーク「RAGAS」を導入した。

RAGを用いた回答生成では、ユーザーの質問（Question）をもとに、検索対象文章の格納されたVector Storeの中から適切な文脈（Context）を取得（Retrive）し、回答文章を生成する（Generate）といった手順を踏む。

RAGASを使えば、RAGによる最終的な回答精度が低かった場合に、RAGのフローのうちどこで問題が起きたのかが分かるようになる。例えば「Context Precision」という指標は、質問から適切にVector Storeのコンテキストを引っ張ってきているかどうかを評価してくれる。

山根氏はRAGASによる評価の例として、chunk sizeを調整した際、RAGASの評価指標にどのような変化が生まれるのかの取り組みを共有した。

最後に、RAGを間違いの許されない銀行業務へ適用する事の難しさにも触れつつ、セッションをまとめた。

株式会社みずほフィナンシャルグループ
https://www.mizuho-fg.co.jp/dx/index.html

株式会社みずほフィナンシャルグループの採用情報
https://www.mizuho-fg.co.jp/saiyou/index.html