“使われるAI基盤”の全社展開とLLMOps実践 ─ PayPayの複数LLM活用と運用の裏側【PayPay Growth Tech vol.11】

アーカイブ動画

進化するAI活用：複数LLMによるユースケース創出とLLMOpsによる運用最適化

藤田様

PayPay株式会社
Product統括本部システム本部
System Development部部長(兼)AI Utilization Office AI Utilizationチームマネージャー
藤田文彰（ふじた・ふみあき）氏

まず登壇したのは、藤田文彰氏。「AIのパートナーから紹介してもらいます」とし、AIで生成した音声を通じて”自己紹介”を行った。新卒で大手ITベンダーに就職し、医用画像や医療事務、電子カルテシステムの開発を担当。その後ベンチャー企業でBPR（ビジネスプロセス・リエンジニアリング：業務改革）に従事したあと、金融業界で業務改善のプロジェクトマネージャー（以下「PM」）を経験。2019年にPayPay株式会社へ入社し、現在は社内の業務システム開発やエンタープライズエンジニアリング組織のマネジメントを担当している。

1-1

2018年のサービス開始から約6年でおよそ7000万人（2025年7月時点）のユーザーを獲得した同社。将来的には、決済だけでなく金融、行政サービスなどお金を利用する際の総合プラットフォームとして成長することを目指している。

「6年で7000万ユーザー」急成長を支えるAI活用推進体制

1-2

その急成長を支える技術基盤の一翼を担うのが、「システム本部」傘下の「AI Utilization Office」だ。同組織は「技術でPayPayグループの成長に貢献する」をミッションに、主に3つの役割を担っている。

1-3

1つ目は、全社でAI活用をどのように推進するかロードマップを策定する「AI活用推進担当」の役割。2つ目はAIを活用した社内向けアプリケーション開発や既存業務システムへの組み込みをサポートする「AI開発担当」としての役割。そして3つ目が「新技術検証担当」で、日々進化するAI技術をいち早く検証し、実用化への道筋を探る役割だ。

AIを活用した各部門での取り組み事例と成果

ここで藤田氏は、同社における具体的なAIを活用した取り組み事例を4つ紹介した。

1-4

まず営業領域では、企業トレンドの探索や売上分析から加盟店向けの提案につながるインサイトを提示できるAIシステムの開発を進めている。

1-5

2つ目は、「GitHub Copilot」や「Cursor」などのツールを活用したエンジニアの開発プロセス効率化・生産性向上への取り組みと検証。

1-6

3つ目は、法務業務の効率化だ。ここでは、各社さまざまな契約書や規約文書の確認作業をAIに任せることで、従来の作業時間の約60%の削減に成功したことを明かしている。

1-7

そして最後は、AIを活用した採用や面接の質向上に関する取り組みだ。

このようにPayPay株式会社では、自社のさまざまな業務にAIを活用してきた。ここで藤田氏は数年間AIの活用を推進してきたことで得られた変化を説明する。

1-8

まず、全従業員における月間AI活用率は1年間で44%から69%とおよそ1.4倍に。さらに、1人1日あたり26分の業務時間削減を実現した。「26分という数字だけを見ると非常に少なく見えるが、全従業員で計算すると年間およそ30万時間削減できたことになる」と、AIの組織活用から一定の成果が得られたことを強調した。

PayPayが複数のLLMを活用する戦略的意図とは？

改めて藤田氏は、PayPay株式会社では「Google Gemini」、「ChatGPT」、「Claude」など、複数のLLMを戦略的に使い分けている、と語る。というのも各LLMの得意分野を抑えて活用すること、コスト最適化、さらに特定のツールに依存してほかツールへの移行が困難になるのを防ぎ、最新技術をいち早く活用することなどの観点からである。

しかし、全従業員が複数のLLMを活用するのには課題もあるという。目的に合ったモデル選定の難しさ、成果物における品質管理の複雑化、運用コストの増大、セキュリティ・ガバナンスの担保、さらにAIを業務フローに組み込んだ後の継続的改善の困難さなどが挙げられる。

1-9

こうした課題を解決するのが、同社が構築を進める「LLMOps Hub」だ。「LLMOps Hub」とは、「Google Gemini」や「ChatGPT」などさまざまなLLMを効率的に利用するための環境基盤である。同社では現在「LLMOps Hub」の提供を目指して、モデル選択のカタログ化、使用状況の監視、集中管理によるセキュリティ・ガバナンスの強化、さらに自動評価やプロンプト管理などを構想に入れて開発を推進しているという。

1-10

「LLMOps基盤があれば、迅速に自社の開発環境で最新技術が活用でき、目標に最適なLLMを選択できる。利用者にとって非常に有用な取り組みになるはず」と藤田氏は力強く語った。

「AIが自律的に、戦略的価値を創出する未来を」見据えて

1-11

2024年度は、「ステップ1」である生成AIを活用するうえでの目標設定や戦略・体制構築に注力してきた。以降は「ステップ2」に進み、「皆が安心して使えるようなLLMを管理・提供したり、既存システムへの組み込みにチャレンジしたりしながら、最適なツールを評価・選定していきたい」と話す。

PayPay株式会社における社内でのAI活用は、次なるフェーズを見据える。藤田氏は、「2025年以降はますます多様なAIエージェントが創出され、管理・セキュリティ面での課題が表面化することが予測される。そのため、AIエージェント自体も統合的に管理する必要性が増してくるだろう」と話す。

そこで、「ステップ3」においては「『LLMOps Hub』を開発・提供しつつも、その次に控えているAgentOpsの開発・提供にもチャレンジし、組織のAIリテラシー向上とガバナンスを両立させながらAIが自律的に動き、戦略的価値を創出する未来を実現したい」と藤田氏は語る。

そのうえで「将来的には、自社のさまざまな部門でAIが普通に使われている状態を目指している。これが私たちのAI活用に対する取り組みだ」とまとめ、講演を締めくくった。

【パネルディスカッション】PayPayにおける生成AI活用推進の舞台裏

パネルディスカッションでは、藤田氏をモデレーターに迎え、PayPay株式会社のAI Utilization Officeで「Slackbot」やAPIハブの開発を担当する現場エンジニア2名が登壇。実際の開発現場で得られた実践知や技術的な課題、そして今後の展望が明かされた。

モデレータープロフィール

1-9

PayPay株式会社
Product統括本部システム本部
System Development部部長(兼)AI Utilization Office AI Utilizationチームマネージャー
藤田文彰氏

パネリストプロフィール

1-9

PayPay株式会社
Product統括本部システム本部
AI Utilization Office AI Utilizationチーム
渥美順仁（あつみ・じゅんじ）氏

1-9

PayPay株式会社
Product統括本部システム本部
AI Utilization Office AI Utilizationチーム
堀正洋（ほり・まさひろ）氏

⚫︎自己紹介

渥美氏：AI Utilization Officeのエンジニアを務めています。「100億円あげちゃうキャンペーン」をきっかけに自社を知り、新しい決済方法を使って高確率で還元されたり飲み会代が戻ってきたりする体験を通じてファンになり、気づいたら入社していました。

堀氏：同じくAI Utilization Officeのエンジニアを務めている堀です。PayPayに入社した理由は、採用イベントで開発に関する話を聞き、スピード感と高いレベルの開発環境に惹かれたためです。

⚫︎お二人の過去の取り組みを教えてください

2-1

渥美氏：2023年5月時点では、「ChatGPT」のWebページがリリースされたばかりで、それぞれに興味本位でさわってみている時期だったと思います。当時は情報漏洩のニュースがあるなど、会社から利用を推奨するのは難しい状況でした。

そこで、まずは社員が使い慣れている「Slack」のUIで、再学習されない「ChatGPT」のAPIを組み合わせてAIに慣れてもらおうと考えました。もちろん最初は「プロンプトって何？」というレベルから始まったのでサンプル集を作ったり、「Slack」上のさまざまなチャンネルに「Slackbot」を追加してほかの人が活用する様子が自然と目に入ってくる環境を整備したりと、徐々にAIへの心理的ハードルを下げていきました。今振り返ると、PayPayならではの情報をAIに覚えさせ、「Slackbot」に話しかけると教えてくれる、という運用が一番AIと社員の距離を縮められたかな、と思います。

堀氏：私は途中から開発にジョインしたのですが、渥美の取り組みが功を奏して社内でAIが活用される場面が増え、「自分たちでもっとAIを活用したい」という声を聞くようになりました。

一方でセキュリティやガバナンスに対する課題があるため、統制できるようにLLMのAPIハブ、LLMOpsを開発することになりました。社内全体に展開するツールということで、今まで以上にコードのフォーマットチェックやユニットテストのカバレッジ分析など、厳しめのルールで開発を進めてきました。

⚫︎どのような開発でしたか？

2-2

渥美氏：私からは「Slackbot」の開発についてご紹介します。最初はコントローラーとバッチの2サーバー構成でしたが、今後の展開を考えてマイクロサービス化を目指しました。ざっくりご説明すると、RAGや学習データを保存するバッチ、LLMと会話するコンテナがあり、それがほかツールと連携するAPIハブの役割を担う構成になっています。

LLMの成長スピードが早いので、新しいモデルがリリースされたら「新機能を開発しなきゃ」という流れを繰り返して気付けば数年経っている状況でしたね。よくいえばアジャイル型で2年間さまざまな機能を実装してきて、当時は「月に1回は何かをリリースしよう、変化を与えよう」と突っ走っていたな、と思います。

2-3

堀氏：私からは「LLMOps Hub」についてご紹介します。この開発過程では、DesignDocsという手法を取り入れて構想から設計まで落とし込む新たなチャレンジをしました。DesignDocsは設計ドキュメントの一種で、実装戦略や設計上の決定事項に加え、なぜその決定をしたかの経緯や、設計者の思いなども記録しています。

我々は、在宅勤務と出社を組み合わせたはたらき方ですが、オフラインで集まれる機会を活用し、その時にメンバー全員でDesignDocsを集中的にレビューしました。この取り組みを通して、開発メンバー全員が共通認識を持てたと思います。

⚫︎開発で苦労したことは？

堀氏：APIハブの認証処理に既存の認証ライブラリーを利用することになっていたのですが、そのライブラリの一部が我々が開発で使用する「Python」に対応していないことが判明し、一部自前で実装する必要が生じたのは、予想外のことでしたね。

ライブラリは、ほか言語の「Java」だったので、書き直さなければなりませんでした。そこでAIの力を借りて、「Slackbot」や「GitHub Copilot」に『Python』での関数書き直しを依頼したところ、ほとんど完璧に出力してくれたんです。大変でしたが、結果的にスケジュール遅延もなく、AIコーディングのすごさを体感しました。

渥美氏：私が一番苦労したのは「使ってもらう」ことでした。「Slack」でリリースを告知しても、反応が薄いまま流れてしまうものも多く、「どのように周知していけば良いのだろう」と頭を抱えていました。

そこで、「PJ:Automata」という全社横断プロジェクトを発足させました。各部門からAI活用推進に関心がある人が集まり、「自部門ならこのように使える」と提案を考えてくれたり、啓蒙活動をしてくれたりしました。活用するなかでの課題や使いにくさなど、改修のヒントもそこからもらいました。このようにエンジニアだけでは届かない部分をPR活動として、全社に担ってくれる人がいたおかげで、社員とAIとの距離感も縮められましたし、全社に活用の輪を広げられたのだと思います。

2-4

藤田氏：一方で、色々な方が生成AIを活用するとなるとセキュリティやガバナンスが気になると思います。ここで、私たちのそのあたりの取り組みをご紹介します。

私たちはAIに限らずクラウドサービスやSaaS製品などすべてのツールを導入前に評価し、リスクがないか確認しています。事業継続観点、セキュリティ観点、データ観点、法務観点の主に4点で評価しています。導入時は、安心安全な状態で利用できるよう環境を整えておくのが最も重要なのではないでしょうか。

⚫︎開発/リリース後、社員の反応は？

2-5

渥美氏：社内報で「AIを使って業務効率化できました」といった記事を見かけることがよくあり、使ってくれていることを実感しています。私たちがきっかけを提供しているのは確かですが、その機能を活用して自身や自部門の業務にフィットするように応用して仕組み化した事例を耳にすると、やはり「良かったな」と思いますね。

藤田氏：そうですね。実際に「Slackbot」をリリースしてから約1年10ヶ月で、もともと300人程度のAI利用者だったのが1800人近くまで増えています。先ほど渥美の話にもありましたが、有志皆で「AIリテラシーを高めよう」と活動してくれたところが、まさにここまで成果を出せた結果なのではないでしょうか。

2-6

堀氏：APIハブをリリースした際は、「Slack」で34件もコメントをいただき、仕様についてお問い合わせもありました。社員が「使いたい」と思ってくれている熱を感じたのはもちろんですが、最近は経営層からもご意見やアドバイスをいただくこともあります。社内で期待してもらっていると思うので、しっかり開発したいですね。

⚫︎今後はどんなことに挑戦したい？

堀氏：やはりエージェンティックコーディングといわれるAI主体でコーディングする手法を、今後のプロジェクトに取り入れていきたいですね。コスト面やセキュリティ面の課題はあるので、バランスは引き続き考えなければなりません。

またOpenAI Inc.のAIエージェント「Operator」のようにブラウザが自動で動く仕組みを社内に構築したい、という思いもあります。セキュリティや動作の仕組みを勉強したうえで、自動化の波に乗りたいです。

渥美氏：私も同じく、AIエージェントの開発に挑戦したいと思っています。これまでの「Slackbot」は汎用性高く作ったので、専門的な用途にまだ課題があります。今後は専門性が高く、インパクトが大きい課題をAIエージェントで効率化したいです。

またプラットフォームのような形で、AIエージェントをエンジニア以外でも気軽に作れる土壌があれば、各部門が自分たちでお悩みを解決できるようになるはずなので、会社全体のパフォーマンス向上につながると考えています。

【Q&Aセッション】

Q&Aセッションでは、PayPay株式会社のAI Utilization Officeメンバー3名がイベント参加者から投げかけられた質問に回答した。

Q. SaaSで提供されているAI機能をどのように活用しているか

藤田氏：SaaSを管理する部署と連携しながら、まずは当該SaaSのリスク評価を行い、安全性を確認しています。そのうえで、各部署でAI機能を解放してもらっています。その後のユースケース探索には私たちも参画しており、幅広い部門と関わりながら活動しています。

Q. 26分の業務時間削減効果について、どのように計測したか

藤田氏：ログ分析を通じて、スライド作成や画像生成などAIで実施した業務を分類しています。それぞれのアクションに対して指標を定義し、生成AIが返した結果をもとに時間削減効果を積み上げていった結果、1人あたり1日26分の削減を実現したという結果になっています。

Q. AI活用推進の効果が出づらい職種はあるか

藤田氏：私たちの場合はIT・テック企業なので、基本的にはどの職種でも効果が出ると考えています。企画職では生成AIを使った壁打ちで企画をブラッシュアップできますし、エンジニアもAIを使った開発で生産性向上が可能です。効果が出ない職種を限定するよりも、まだ使っていない人に使ってもらうことが私たちの大きな課題だと認識しています。

Q. AI活用を推進してもうまくいかない。PayPayがここまで成功できた理由は何か

渥美氏：AIを活用したい人との距離を縮めるコミュニケーションの取り方が重要だったと思います。今まで私たちは他部門の部会で5分だけ時間をもらってAIの使い方をレクチャーしたり、本部定例に参加させてもらってhow toを説明したりしてきました。

藤田氏：一方的なコミュニケーションを避けることが大切です。たとえば営業組織の皆さんのところに説明に行き、AI活用により実現できることを実際に体験してもらうなど、開発するだけでなくしっかりとPR活動を行うことが必要です。推進者として大事な心構えは「歩み寄り」で、わからない人にはともに使い方を考える姿勢が重要だと思います。

Q. 皆が「すごい」と盛り上がったAI活用事例を教えてほしい

堀氏：画像生成機能をリリースしたときは盛り上がりましたね。APIのレートリミット（システムやAPIに対して、一定時間内に許容されるリクエストの最大数を制限する仕組み）に引っかかりそうなほど利用された記憶があります。

渥美氏：イベント冒頭に藤田が活用していたテキストを読み上げる音声機能でしょうか。

藤田氏：金融機関として行っている審査業務で、AIを使って審査プロセスを改善した例もあります。画像に人が映っているか、見切れているかなどをAIが判定し、NG/OKを返す仕組みになっています。

Q. Design Docsをもとに、正式な設計書は別で作成するか

堀氏：はい、別途作成します。Design Docsでは、「このような方針で、当該アーキテクチャを採用する」という内容を全員で認識し、合意を取ります。それをもとに正式な設計書に起こしていく運用になっています。つまりパラメータやレスポンスフォーマットなどの細かい仕様は設計書に記載し、Design Docsでは設計方針と理由を明確にします。手戻りがない分、トータルで業務効率化を実現できていると考えています。

Q. 業務AI化の推進はどのような体制で進めているか

藤田氏：私たちを中心に、各部門に所属するAI活用推進者をサポートする体制で進めています。実はAI Utilization Officeは非常に少ない人数で運営しており、すべての業務に直接入って開発することはほとんど不可能な状況です。そのため、私たちとしてはAIを安心して活用できるガイドラインやツール、仕組みを整備し、各部門での業務への落とし込みは部門ごとに行ってもらっています。

Q. AWSの生成AI基盤「Amazon Bedrock」を採用した理由は何か

堀氏：率直に、最も慣れているからです。恩恵としては、とくに「Claude」が「Amazon Bedrock」と密接に連携しているので、障害発生時にもAWSがカバーしてくれる点があると思います。

Q. 「Slackbot」を1から開発しようと考えているが、気をつけるべきポイントは

堀氏：「Slack」上に色々な制限があるのは1つ気をつけるべきポイントです。1度に12000文字までの投稿制限、返答テキストが長いと分割される、3秒以内にレスポンスを返さなければタイムアウトするなど、特有の制限があります。

渥美氏：そういったUI的な制限があるものの、「Slack」というUIであることは最大のメリットだと思います。バックエンドだけで処理できるため、人的コストを下げられ、クイックに開発できます。

Q. セキュリティに対して取り組んでいること

藤田氏：社員による「ChatGPT」や「Google Gemini」「Claude」の利用は禁止していません。SaaSとしての利用も「Slackbot」としての提供も行っており、さまざまな形でAIが使える環境となっています。

セキュリティ面で重要なのは、どの情報を扱えるかを制限することです。私たちの場合は、個人情報を入れないなどのルールを設けたうえで利用を推進しています。とくに重視しているのは、入力した情報がどの国で管理されるかという点です。そこはシビアに管理して、個人情報については生成AIで扱わないよう徹底しています。