プログラミング - TECH PLAY - TECH PLAY

TECH PLAY

プログラミング

イベント

マガジン

技術ブログ

本記事は、2026 年 11 月 17 日に Mac Merritt が公開した「 Lessons learned from one million evaluations 」を翻訳したものです。 コーディングエージェントの評価は、多くの場合、固定されたタスク群を二値の合格率でスコアリングする形で始まります。タスク群は、一般に公開されているものから選ばれます。この方法がうまく機能する場面もありますが、評価として役に立たなくなる問題がいくつか起こり得ます。1 つ目は、エージェントやモデルが改善するにつれて、固定されたタスク群での合格率が上昇することです。残った合格率の差は、エージェントやモデルの性能だけでなく、ベンチマーク自体のノイズによって生じていることもよくあります。これをベンチマークの飽和と呼んでいます。飽和すると、ベンチマークは本来測りたいシグナルを測れなくなります。最近、Kiro に新しいモデルを追加した際に、この状況に直面しました。Terminal Bench 2.1 での合格率は想定どおりでした。Terminal Bench 2.1 が飽和に近づいていることは把握していましたが、大きなリグレッションのリスクであれば、合格率でまだ測れると考えていました。その後、社内のテストユーザーから、新しいモデルの使用感は他のモデルより悪いという声が寄せられ始めました。詳しく調べると、合格率は妥当だったにもかかわらず、一部のツールで呼び出しの 40% が失敗していました。他のモデルでは問題なく動いていたツールの説明が、新しいモデルでは無効な入力でツールを呼び出す原因になっていたのです。 この件は 2 つ目の問題につながります。合格か不合格かというシグナルだけでは、十分でない可能性があります。このケースでは、モデルが試行を繰り返して正しいリクエストの送り方を見つけられたため、合格率には影響しませんでした。しかし、その試行錯誤の間にトークンが消費され、レイテンシーが増え、顧客にとっての全体的な価値は低下しました。顧客の体験は、Kiro がタスクをやり遂げられたかどうかだけでは決まりません。この点が 3 つ目の問題につながります。評価が現実の顧客の体験を代表していない可能性がある、ということです。顧客には、Kiro が高い品質基準でタスクを素早くやり遂げられるという確信が必要です。それを測るには、実際の顧客の体験を反映したベンチマークを実行していることと、その体験に影響し得るすべてのシグナルを追跡していることを確認する必要があります。Kiro では、顧客のために製品を改善する過程で何百万回もの評価を実行してきました。その中で、これらの問題のすべてに遭遇しました。 この記事では、私たちが学んだことと、顧客にとって重要なことを測るために Kiro の評価スイートを現在どのように運用しているかを紹介します。 課題 評価は、エージェント開発に欠かせません。変更に対してモデルがどう応答するかを推論することはできますが、確実に予測することはできません。プロンプト、ツールの説明、あるいはモデル自体に小さな変更を加えるだけで、誰も予想しなかった形で挙動が変わることがあります。確実に知る唯一の方法は、実際のモデルに対して実行することです。だからこそ、経験豊富なエンジニアやサイエンティストでさえ、何がエージェントの性能を高め、何が性能を損なうかについて意見が分かれることがよくあります。たとえば、サブエージェントをいつ、どのように使うか、AGENTS.md ファイルに何を書くべきか、ツールの数はいくつから多すぎるのか、どのような種類のメモリーが有益または有害か、スキルとカスタム MCP ツールのどちらにより重点を置くか、といった点です。そのため、どのトレードオフが顧客の役に立つかを判断できる、信頼できる結果を出す評価が必要です。 多くの評価は、合格か不合格かを判定する固定のシナリオ群です。シナリオは、入手しやすさや人気を理由に選ばれており、必ずしも顧客にとっての価値を明確に反映しているわけではありません。この方式は 3 つの問題を引き起こす可能性があります。1 つ目は、固定のベンチマークが飽和し得ることです。この場合、リグレッションがあってもエージェントはベンチマークを解けてしまいます。そのため、何を改善すべきかについて意味のあるシグナルを見つけにくくなります。2 つ目は、合格か不合格かという粗い採点では、エージェントがタスクをどのように解いたかがわからず、顧客にとって重要なシグナルが隠れてしまうことです。顧客が気にするのは、コスト、Kiro がタスクを実行するのにかかる時間、そしてテスト要件を満たしたかどうかだけにとどまらないコードの品質です。合格というシグナルだけでは、これらの詳細がわかりません。3 つ目は、ベンチマーク自体が顧客にとって重要なシグナルを測定できていない可能性があることです。Terminal Bench は非常に複雑なタスクを完了するエージェントの能力を測定します。一方で、対象とするユースケースに含まれないシグナルは重視されず、十分に反映されません。たとえば、さまざまなプログラミング言語、DevOps のユースケース、コードの理解などです。これらのユースケースは Terminal Bench の中心ではありませんが、Kiro の顧客にとっては重要です。 アプローチ 評価手法を成熟させるには、評価が顧客のユースケースをどの程度反映しているかを測定し、改善するための仕組みを構築する必要がありました。 静的なセットから動的なベンチマークへ。 目標は、開発者による Kiro の使われ方に合ったシナリオで構成されるベンチマークスイートです。その方法の 1 つとして、Amazon 社内の Kiro ユーザーの利用状況を、集約したカテゴリーで測定しています。利用状況を 20 以上のタスクカテゴリー、25 以上のドメイン、プログラミング言語、セッションあたりのプロンプト数でグループ化し、ベンチマークのシナリオにも同じカテゴリーのラベルを付けています。そして、これらのカテゴリーを 3 つのソースからのシナリオで埋めていきます。自分たちで書いたシナリオ、Amazon の他のチームからのシナリオ、公開ベンチマークです。実際の利用状況と比べてカテゴリー内のシナリオが少ない場合は追加します。こうしたギャップは、どのベンチマークに注力すべきかの優先順位付けにも役立ちます。その結果、利用状況や機能の進化に合わせて定期的に更新する、バージョン管理されたベンチマークスイートができあがります。 合格か不合格かから、段階的な判定へ。 すべてのベンチマークで、3 つの粒度のレイヤーを追跡しています。合格か不合格かは最初に見る指標で、パフォーマンスの総合的な目安になります。次に、各ベンチマーク実行から、顧客にとって重要だとわかっている出力シグナルを追跡します。最も単純なものはレイテンシーとトークン使用量ですが、場合によっては、コードの複雑さや生成された成果物のサイズの測定値を含めることもあります。最後に、ベンチマークの実行履歴を LLM-as-judge で評価します。対象は、決定論的に測定するのが難しい一方で顧客にとっては重要なシグナルで、たとえばコードの品質や応答のトーンです。これらの領域のいずれかで改善の機会やリグレッションを見つけたら、ベンチマークの詳細な実行履歴を確認します。その指標が想定より悪い理由と、Kiro を改善するための選択肢を把握するためです。ベンチマークの最大の価値の 1 つは、改善案を再テストして、対象としている課題にどれが最も効果的かを判断できる点にあります。 ライブシグナルで信頼性を築く。 静的なベンチマークから動的なベンチマークへ移行する際に使うシグナルは、ベンチマークを顧客のユースケースに近づけるのに役立ちます。それでも、測定している次元の外にある理由で、顧客のペインポイントを見逃す可能性があります。ベンチマークがカテゴリー、ドメイン、言語、タスクの長さ(horizon)の点で顧客と一致していても、顧客の体験を反映していないことがあります。理由としては、ベンチマークが飽和している、カテゴリーの粒度が十分に細かくなかった、シナリオ自体に関連するその他の要因がある、などが考えられます。どのシナリオを実行するかに加えて、ベンチマークをどのように実行するかによっても、顧客のペインポイントを見逃すリスクがあります。モデルの選択、思考レベル、ツールの選択、クライアントの設定などはすべてエージェントの品質に影響します。顧客がこれらを評価では見落としかねない方法で設定している可能性があります。私たちの選定プロセスにより、顧客の体験を代表する可能性が高いベンチマークに焦点を当てられます。しかし最終的には、実際の顧客の体験が信頼できる情報源です。ジェフ・ベゾスはかつて “When the data and the anecdotes disagree, the anecdotes are usually right.”(データと逸話が食い違っているときは、たいてい逸話のほうが正しい)と述べました。ライブシグナルで信頼性を築く背景には、この考え方があります。アンケートや集約した満足度評価のデータと、ユーザーとの対話から得た逸話を使います。社外の顧客へのアンケートや対話も使い、社内ユーザーが同様の体験をしていることを確認します。これにより、評価システム自体を継続的に評価し、データが実際の顧客のシグナルと一致していることを確かめられます。 Kiro の評価サイクルを 4 つのステップで示したフローチャート。ユーザーがフィードバックを提供し、ライブシグナルがアンケートと評価を通じてデータを収集し、オフラインベンチマークが 3 つのレイヤーでパフォーマンスを測定し、Kiro の改善が得られた知見に基づいて問題を修正する。 実際の測定 そのモデルのローンチで教訓を得たあと、より体系的なアプローチを適用しました。Kiro を多数のベンチマークのシナリオにわたって測定しました。汚染のリスクを避けるための複数のプライベートベンチマーク、Terminal Bench 4.0、Deep SWE、SWE Marathon などが含まれます。ツールの失敗率、トークン効率、レイテンシーに関する詳細な指標にも注意を払いました。ツールの失敗率のデータは、前述したツールの説明に一貫性がないという問題の解決に役立ちました。効率に関するデータと、より網羅的になった評価セットをもとに、数十件の変更を加えました。これらの変更は機能を改善し、Kiro のハーネスのバグを修正し、顧客のコスト削減に直結する形で効率を高めました。 得られた教訓と今後の研究 利用状況のカテゴリーに合わせたスイートがあっても、適切なシナリオをそこに取り込むのは困難です。成功に見えるシグナルが誤解を招くこともあります。たとえば最近、社内のプルリクエストをベンチマークのシナリオとして検討しました。そのプルリクエストはマージされ、ユーザーはエージェントに 5 つ星を付けていたため、成功したタスクの理想的な例に見えました。ところが、リポジトリの履歴を確認すると、次のコミットで、そのプルリクエストが混入させたバグが修正されていました。これを追加していたら、ベンチマークはバグのあるコードを正解として扱っていたことになります。今後の研究では、ベンチマークのキュレーションをスケールさせることに注力します。5 つ星が付いたのに取り消されたこのプルリクエストのようなシナリオを検出しながら、スイートを更新し続けるためです。 現在のプロセスには、評価中の Kiro の設定による制約もあります。評価は、モデルの選択と Kiro クライアントについて、顧客の使い方に合わせて実行しています。今後の研究では、MCP サーバー、ステアリングファイル、詳細なスキル、コメントが大量に書かれたコードベースといった複雑な顧客の設定で、Kiro がどのように動作するかを調査します。 試してみる、さらに読む Kiro を試す ことができます。この背景にある詳細な手法については、LLM-judge のルーブリック、A/B のセットアップ、測定結果を含め、 「継続的なプロンプト評価: LLM ジャッジとライブシグナルを使って Kiro エージェントの品質を高める方法」 をお読みください。エージェントが時間とともに本当に改善しているのかという、より大きな問いについては、 「AI コーディングエージェントは本当に良くなっているのか?」 をお読みください。 翻訳は Solutions Architect の吉村が担当いたしました。
はじめに こんにちは! メルカリでMLエンジニアをしている arr0w です。 今回はメルカリの商品ページの下部にあるQuery Suggest「他の人はこちらも検索」を改善した取り組みについて紹介します。 この機能では「 ハンドメイド 手編み ニット帽 」の出品に対して 「手編みニット帽」,「ニット帽 ハンドメイド」, 「手編み帽子」 のように、お客さまが今見ている商品と関連する検索クエリが推薦されます。 メルカリには一点物の出品が多く、目の前の商品が売り切れていたり条件が合わなかったりしても、関連するキーワードで探し直せば似た商品に出会えます。Query Suggestは、そうした次の検索へ進むための入口です。 一方で、従来のロジックは過去の検索流入をもとに候補をつくり、人気度順で並び替えをしていたため、「新しい出品では候補が足りない」「汎用的なクエリが先頭に来やすい」といった課題がありました。 そこで今回は、Query Suggest経由の購入数をKPIとして、候補の生成と並び順のそれぞれに以下のMLモジュールを導入し、KPIを大幅に改善することに成功しました。 メルカリの検索ログでファインチューニングされたDomain-Aware RuriによるItem-to-Query Search Query SuggestのCTR予測モデルによるQuery Suggest Reranking 構築した改善の検証のためにA/Bテストを実施。その結果、Retrieval/Reranking、それぞれの導入により以下のような統計的に有意な改善が見られました。 メルカリの検索ログでファインチューニングされたDomain-Aware RuriによるItem-to-Query Search 商品ページのQuery Suggestの経由購入: +17.57% Query Suggest以外の通常の検索経由の購入数: +0.76% Query Suggest Rerankerの導入 商品ページのQuery Suggestの経由購入: +5.09% Query Suggest以外の通常の検索経由の購入数: +0.47% 本テックブログでは、このプロジェクトに取り組むに至った背景、モデルの構築やオフライン評価、Vector SearchやBigtableをはじめとするGCPのサービスやTritonなどを活用したシステム設計、A/Bテストの振り返りなどについて紹介します。 商品ページにおける「他の人はこちらも検索」 「他の人はこちらも検索」は「商品から次の検索クエリを見つける」プロセスをUI側で肩代わりする機能です。閲覧中の商品に関連する検索クエリを表示し、1タップで検索結果へ遷移できます。 表示される検索クエリは、内部では トピック という単位で管理しています。トピックは「カテゴリー × キーワード」または「カテゴリー × ブランド」の組み合わせで、例えば「技術書カテゴリー × Java」(プログラミング言語のJava)と「食品カテゴリー × Java」(ジャワコーヒーのJava)は別のトピックです。 ML的に見ると、これは 「商品を入力として関連する検索クエリを推薦する」Item-to-Query Recommendation というタスクであり、他の推薦タスクと同様に、候補を集めるRetrievalと候補を並べるRankingの2段階に分けられます。 導入当初のロジックはシンプルで、Retrievalは、過去にその商品へ検索結果のページ(Search Result Page, SERP)経由で流入した検索クエリの逆引きと商品タイトルから抽出したキーワードを候補ソースとし、履歴の少ない商品では類似商品への流入クエリも加えていました。Rankingはそれらを検索回数順に並べて上位6件を表示するだけのもので、両段階にそれぞれ課題がありました。 課題1: コールドスタート(Retrieval) 流入クエリの逆引きは、SERP経由の流入履歴がない新規出品やロングテール商品に候補を作れません。メルカリのようなCtoCマーケットプレイスでは、この問題が特に顕著に現れます。 出品される商品の多くは一点物で、同じ商品が継続的に販売されるECとは違い、検索流入の履歴がたまる前に売れてしまうことも珍しくありません。 タイトル由来のキーワードや類似商品への流入クエリがあっても埋まらないケースが多く残り、最大6件の枠に対して平均で3.68件、約20%のリクエストでは0件で表示すらできていませんでした。 課題2: 並び順の最適化余地(Ranking) タップ率は表示位置に強く依存しており、先頭のクエリとスクロールしないと見えない末尾のクエリでは15倍以上の差がありました。つまり、どのクエリを先頭に置くかがKPIを大きく左右します。 しかし当初の並び順は検索回数順で、「Apple」「スマートフォン」のような汎用的なクエリが先頭に来やすい状態でした。ここに大きな最適化の余地がありました。 そこで、Retrievalの課題には埋め込みベースのItem-to-Query Search、Rankingの課題にはCTR予測モデルによるRerankingを導入することにしました。どちらも、次章で紹介するRuriベースのテキスト埋め込みモデルを土台としています。 Domain-Aware Ruri: メルカリの検索ログでファインチューニングした日本語テキスト埋め込み Ruriは名古屋大学の塚越・笹野らが公開している日本語特化の汎用テキスト埋め込みモデルです [1]。ただし、CtoCマーケットプレイスの検索クエリは短く曖昧で、商品名も出品者が自由に書いたノイズの多いテキストであるため、汎用モデルをそのまま使うと固有名詞やマーケットプレイス特有の文脈の扱いに課題がありました。 そこでメルカリのApplied Research Teamのandreらは、2025年にRuri v2をメルカリの検索ログでファインチューニングしたモデルを構築しました [2]。本記事ではこれをDomain-Aware Ruriと呼びます。 学習データは、検索ログから抽出した「検索クエリ」と「そのクエリから購入された商品のタイトル」の正例ペア500万件です。これをMultiple Negatives Ranking(バッチ内負例)[3] で学習しています。 さらにMatryoshka Representation Learning [4]を組み合わせ、先頭の次元に情報が集まるように学習することで、32次元に切り詰めても精度が落ちにくい埋め込みを得ています。定性評価でも「Switch 2」「coach」のような固有名詞の曖昧性解消が改善しています。 Query Suggestでは、この Domain-Aware Ruri の32次元埋め込みを、Item-to-Query Searchの検索空間としても、CTR予測モデルの特徴量としても利用しています。 ただしこのモデルは「検索クエリ → 商品タイトル」の方向で学習されたものであり、Query Suggestで必要な「商品タイトル → 検索クエリ」は逆方向のタスクです。この転移が実際に成立するかは、次章のオフライン評価で確認しています。 Domain-Aware Ruriを活用したItem-to-Query Search(Retrieval) Item-to-Query Searchの基本的なアイデアは単純で、商品タイトルの埋め込みをクエリにして、検索クエリの埋め込み集合から近傍を探すだけです。 ただし前章で触れたとおり、Domain-Aware Ruriは「検索クエリ → 商品タイトル」の方向で学習されたモデルです。逆方向の「商品タイトル → 検索クエリ」でも使えるかを、まずオフラインで確認しました。 評価タスクは、商品タイトルを入力として約110万件の候補クエリからFAISSで検索し、実際にタップされたクエリがtop-Kに入るかを見るものです。 評価ペアはQuery Suggestのタップログから10万件をサンプルしました。比較対象は、ファインチューニング前のruri-small-v2(base)と、Domain-Aware Ruri(ft)です。 model Recall@10 Recall@100 MRR@100 ft @768d 0.375 0.630 0.208 ft @32d 0.300 0.528 0.166 base @768d 0.231 0.391 0.131 結果は明快でした。768次元同士の比較でftがbaseをRecall@10で相対 +62% 上回っており、検索向けのファインチューニングが逆方向のItem-to-Queryにも転移しています。 さらに、 32次元に切り詰めたftが768次元のbaseを上回っています 。1/24の次元でファインチューニング前のフルスペックに勝てるので、32次元での運用に十分な根拠が得られました。 この結果を踏まえ、Domain-Aware Ruriの32次元埋め込みを用いたItem-to-Query Searchを、履歴ベースの候補生成と並列に動かす新しい候補ソースとして導入することにしました。本番でどのように検索対象のクエリ集合を管理し、リアルタイムに検索しているかはシステム設計の章で説明します。 Query Suggest Rerankingモデルの構築 ここまでがRetrieval側の改善です。次にRanking側、つまり集めた候補をどう並べるかを扱います。前章と同じDomain-Aware Ruriの32次元埋め込みを特徴量として、タップされる確率を予測するCTR予測モデルを構築しました。 入力は、閲覧中の商品タイトルの埋め込み(32次元)と候補クエリの埋め込み(32次元)を連結した64次元のベクトルです。これを残差接続付きのMLP(hidden 256 × 4ブロック、dropout 0.2)に通し、タップ有無を二値分類として学習します(BCE loss)。 学習データはQuery Suggestの過去の表示・タップログで、1セッション = 「表示された候補群 + そのうちタップされた1件」という単位で約440万セッションを使いました。 評価はセッション単位で行い、タップされたクエリを何位に置けたかをRecall@1 / Recall@3 / ndcg@3で測りました。比較対象は3つです。 表示順 : 当時の本番の並び順(検索回数順)。ポジションバイアスが乗ったタップログで評価しているため、非常に強いベースラインです。 cosine類似度 : 商品タイトルとクエリのDomain-Aware Ruri埋め込みのcosine類似度で並べたもの。「学習せずに埋め込みの近さだけで並べたら」の比較です。 random : セッション内の候補をランダムに並び替え Recall@1 Recall@3 ndcg@3 CTR予測モデル 0.479 0.894 0.725 表示順(検索回数順) 0.461 0.876 0.701 cosine類似度 0.411 0.847 0.668 random 0.300 0.786 0.581 読みどころは2つあります。ひとつは、Domain-Aware Ruriによるテキスト埋め込みの cosine類似度だけでは表示順に負ける ことです。商品とクエリが埋め込み空間で近いことと、そのクエリがタップされることは別物で、単に「似ているクエリ」を上に置くだけでは既存の人気順を超えられません。 もうひとつは、 同じ埋め込みを入力にした学習モデルなら表示順を超える ことです。Recall@1で相対+3.8%と数字は小さく見えますが、比較相手はポジションバイアスを味方につけた本番の並び順です。埋め込み2本の素朴なMLPでこれを上回れるなら、Rerankingを導入する価値はあると判断しました。 この結果を受け、履歴ベースとItem-to-Query Searchの両方から集めた候補をこのモデルでスコアリングし、上位6件を表示する構成に進みました。次章では、これらをどう本番のリクエストフローに組み込んだかを説明します。 システムアーキテクチャ 全体は、埋め込みとCTR予測モデルを用意する 特徴量・モデルパイプライン と、リクエストごとに候補生成とRerankingを行う サービング に分かれます。 以下がGoogle Cloud上に構築したシステムアーキテクチャの全体図になります。 特徴量・モデルパイプライン このプロジェクトで新しく作ったパイプラインは、いずれもCloud Composer(Airflow)のDAGから Custom Jobとして日次で実行しています。 クエリ埋め込みの生成(Query Embedding Generation Job) 直近30日間の検索ログからQuery Suggestの対象となるクエリ(トピック)を集計し、Domain-Aware Ruriで32次元の埋め込みを生成します。生成した埋め込みは2か所に書き出します。 ひとつはBigtableで、CTR予測モデルの特徴量取得に使います。もうひとつはGemini Enterprise Agent Platform Vector Search(旧 Vertex AI Vector Search)で、Item-to-Query Searchの検索対象になります。 ここでVector Searchにインデックスする対象を 「直近30日間に、検索結果ページで商品のタップにつながった検索クエリ」に限定している点が重要 です。検索ログには誤入力や商品が見つからなかった質の低いクエリも大量に含まれており、それらを候補にしても意味がありません。 実際に商品タップを生んだクエリだけをインデックスすることで、埋め込みの近さだけで引いた候補にも「少なくとも誰かがそのクエリで商品を見つけた」という最低限の品質保証がかかります。 なお、Vector Searchには登録したベクトルに有効期限(TTL)を設定する機能がなく、放っておくと30日を過ぎたクエリもインデックスに残り続けます。そこで、インデックスは差分更新ではなく日次で丸ごと作り直し( is_complete_overwrite=true )、古いクエリを個別に削除する処理を不要にしています。 また、各クエリのデータポイントには、そのトピックのトップレベルカテゴリーを Vector Searchの restricts として付与しています。これは検索時に閲覧商品のカテゴリーで候補を絞り込むためのもので、詳細はサービングの節で触れます。 商品タイトル埋め込みの生成(Item Embedding Worker) 商品タイトルのDomain-Aware Ruriによる埋め込みは、出品・更新イベントを受けて非同期に生成しBigtableに格納する既存のembedding workerがあり、それをそのまま利用しています。 Domain-Aware Ruriによる商品タイトル埋め込みはチームを跨いで共用しているため、Query Suggestのために商品埋め込みを新しく作る必要がありませんでした。 CTR予測モデルの学習 Query Suggestの表示・タップログに、BigQuery上の商品埋め込みとクエリ埋め込みを結合して学習データを作り、Custom Jobで学習します。学習済みモデルはONNXに変換してCloud Storageに置き、モデルサーバー(Triton Inference Server)から配信しています。 サービング 商品IDを受け取ったバックエンドは、次の順で処理します。 候補生成(並列) : Bigtableから履歴ベースの候補を取得するのと並行して、商品埋め込みでVector Searchを検索しItem-to-Query候補を取得します。Vector Searchには商品のトップレベルカテゴリーでrestrictをかけています。 特徴量取得 : 商品埋め込みと候補クエリの埋め込みを取得します。前段にRedis(TTL 24時間)を置き、ミスした分だけBigtableに問い合わせます。 推論 : 商品埋め込みと候補クエリ埋め込みのペアをまとめてTritonに送り、CTRスコアを得ます。 並び替え : 履歴ベースの候補とItem-to-Query候補をそれぞれスコア順に並べた上で、履歴ベースを先頭にしてマージし、上位6件を返します。 余談ですが、Vector Searchのrestrictは探索対象をインデックスの部分集合に制限する仕組みなので、探索後に候補を間引くフィルターとは異なり、フィルターで候補が足りなくなることは実際に起きませんでした(フィルター適用した場合でも平均表示件数は6.00を維持)。レイテンシもrestrictなしとほぼ変わりませんでした。 4のマージ方法は、当初は両候補を混ぜてRerankingしていましたが、A/Bテストの結果を受けて現在の形に変えました。この経緯は次章で説明します。 A/Bテストの振り返り 2つのモジュールは別々のA/Bテストで検証しました。時系列としてはRerankingを先に導入し、その状態をcontrolとしてItem-to-Query Searchを検証しています。 以下の指標はいずれもcontrolに対するtreatmentの相対変化です。購入数(ATPU: お客さま一人あたりの購入回数)と購入率(BCR: 購入したお客さまの割合)を主に見ています。 「via Query Suggest」はQuery Suggestから遷移したSERPを経由した購入、「via 検索」はそれ以外の通常の検索を経由した購入で、両者は重複しません。 指標 Item-to-Query Search Query Suggest Reranking Query Suggestのタップ数(一人あたり) +17.19% +6.37% 購入数 / 購入率 via Query Suggest +17.57% / +15.82% +5.09% / +5.29% 購入数 / 購入率 via 検索(Query Suggest以外) +0.76% / +0.44% +0.47% / +0.50% どちらのモジュールも、Query Suggest経由の購入数を大きく伸ばしただけでなく、Query Suggestを含まない通常の検索経由の購入数も統計的に有意に改善しました。 Query Suggest内で購入が閉じるのではなく、その後の検索行動にまで良い影響が及んでいることを示す結果です。全体の購入数・購入率・いいね!数などのガードレール指標に悪化はなく、両方をリリースしています。ただし、ここに至るまでは一直線ではありませんでした。 Item-to-Query Searchの最初のA/Bテストの失敗 Item-to-Query Searchの最初のA/Bテストは失敗しています。当初の設計は「履歴ベース候補とベクトル検索による候補をまとめてRerankerに通す」というものでした。候補を埋めるという点では狙いどおりで、平均表示件数は3.68 → 6.00、0件表示は20.1% → 0%になりました。しかし、 Query Suggest経由の購入数は -12.7% 、購入率は-14.7% と大きく悪化しました。 原因は候補の関連性でした。前述のとおり、Query Suggestのトピックは「カテゴリー × キーワード」の形でカテゴリーと必ず紐づいています。しかし最初の設計では、Vector Searchは商品タイトルとクエリテキストの埋め込みの近さだけで検索しており、カテゴリーの一致を見ていませんでした。 そのため、例えばプログラミング言語の「Javaの教科書」に対して、コーヒー豆の文脈の「Java」トピックが候補に入る、といったことが起きます。実際に、表示クエリと閲覧商品が同じトップレベルカテゴリーに収まる割合は96.3%から77.9%に下がり、テキストが似ているだけの別ジャンルのクエリが混ざっていたのです。 2回目は2つの変更を入れました。 履歴ベース候補とItem-to-Query候補を別々にRerankingし、履歴ベースを先頭にして足りない分をItem-to-Query候補で埋める。 Vector Searchの検索時に閲覧商品のトップレベルカテゴリーでrestrictをかける 1つ目の変更のみを入れたtreatment 1と、両方を入れたtreatment 2の2群で検証しました。履歴候補を先頭に残すだけで、Item-to-Query Searchによる改善はtreatment 1の時点で +15.19% と大きく現れ、カテゴリーrestrictを加えたtreatment 2では +17.57% まで伸びました。 1回目の失敗はItem-to-Query Searchの候補の質そのものではなく、強い履歴候補との統合の仕方にあったことが分かります。結果の表に載せたのはtreatment 2の数字で、こちらをリリースしています。 Reranker導入による検索ヒット数の減少 Rerankingの事後分析で興味深かったのは、遷移先SERPの平均ヒット数が2,326 → 1,552( -33% )と大きく減ったことです。 タップされたクエリの希少度も上がっていました。ここでの希少度は、全検索セッション数をそのクエリが検索されたセッション数で割った値の対数(クエリ単位のIDF)で、controlの13.13に対してtreatmentは14.73(+12.2%)でした。 一見すると悪い変化に見えますが、「スマートフォン」より「iPhone 16 Pro」のような、具体的でニッチなクエリが上位に来るようになった結果でした。タップ数は増えた一方でQuery Suggest経由の閲覧商品数は変わっておらず、1タップあたりの閲覧数は減っています。より具体的なクエリで欲しい商品に早く辿り着けるようになった、と解釈しています。 Query Suggest以外の検索経由の購入も増加 どちらのテストでも、Query Suggest経由だけでなく、Query Suggestを含まない通常の検索経由の購入数も統計的に有意に増加しました(Reranking +0.47%、Item-to-Query Search +0.76%)。 Query Suggestでタップしたクエリをそのまま使うのではなく、遷移先のSERPでクエリを少し書き換えて再検索し、購入に至るという行動が増えたためと見ています。 「商品からキーワードを学んで検索し直す」という行動を、Query Suggestが実際に後押ししていることを示す結果です。 まとめ 本記事では、商品ページの「他の人はこちらも検索」に対して、Retrieval側にDomain-Aware Ruriを用いたItem-to-Query Search、Ranking側にCTR予測モデルによるRerankingを導入した取り組みを紹介しました。 検索向けにファインチューニングした埋め込みが逆方向のItem-to-Queryタスクにも転移すること、埋め込み2本の素朴なMLPでも強いポジションバイアスを持つ既存の並び順を超えられること、そして枠を埋めるだけでは逆効果になり関連性が鍵であることが、オフライン評価とA/Bテストを通じて分かりました。 今後は次のような方向を考えています。 LLMを活用したクエリ生成・評価: 現在のItem-to-Query Searchは過去にタップされたクエリの中から選ぶ仕組みなので、誰も検索したことのないクエリは提案できません。LLMで商品から検索クエリを直接生成する手法や、候補クエリと商品の関連性をLLMで判定し、Rerankerの学習データや評価に使う手法を検討しています。 UIの改善: 現在のコンポーネントは横スクロールで4件までしか一度に見えず、5件目以降のタップ率は大きく落ちます。表示件数やレイアウトなど、ロジック以外の面での改善余地も大きいと考えています。 候補の重複排除と多様性: Item-to-Query候補は商品タイトルに近いクエリに寄りやすく、同じ意図のクエリが複数並ぶことがあります。意図レベルでの重複排除や多様性の考慮も課題です。 本記事の内容が、テキスト埋め込みのドメイン適応やその転移、推薦システムにおけるRetrievalとRankingの設計、ML機能のA/Bテストと失敗からの立て直しに興味のあるみなさまのお役に立てば幸いです。 おわりに 最後に、本テックブログやDesign Docsのレビュー、コードレビューに多大な貢献をしてくださったnaberyoさんに深く感謝します。 また、Domain-Aware Ruriを構築してくださったandreさん、そしてEmbedding Platformをリードしているakiyamashoさんをはじめとする ML Platformの皆様にも深く感謝します。 メルカリでは、プロダクト改善を通して大きなインパクトを生み出すことに意欲的なMLエンジニア・ソフトウェアエンジニアを募集しています。興味のある方はぜひご応募ください。 Machine Learning Engineer, Search ML- Mercari – Mercari, inc. 参考文献 Hayato Tsukagoshi, Ryohei Sasano. Ruri: Japanese General Text Embeddings. arXiv:2409.07737 , 2024. Andre Rusli, Miao Cao, Shoma Ishimoto, Sho Akiyama, Max Frenzel. Towards Better Search with Domain-Aware Text Embeddings for C2C Marketplaces. arXiv:2512.21021 , 2025. Matthew Henderson et al. Efficient Natural Language Response Suggestion for Smart Reply. arXiv:1705.00652 , 2017.(Multiple Negatives Ranking) Aditya Kusupati et al. Matryoshka Representation Learning. NeurIPS 2022.
自己紹介とサイオスを選んだ理由 自己紹介 公立はこだて未来大学 システム情報科学部 情報アーキテクチャ学科の石川大雅です。 大学では、プロジェクト学習として、数年後を見据えたモバイルサービスの開発に取り組んでいます。そこでは4大学、計35人で3つのサービスに分かれて開発を行っており、私は「グループ旅行の幹事の返信待ちを支えるサービス」のリーダーを担当しています。 普段は筋トレや温泉、カフェ巡り、自然スポット巡りなどを楽しんでいます。特に、筋トレが好きでベンチプレス100㎏を目標にトレーニングに励んでいます。 なぜ数ある企業からここ(サイオス)のインターンシップを選んだのか 数あるIT企業の中でサイオスのインターンシップに応募した一番の理由は 、「自社開発の現場で本格的なチーム開発経験を積み、SIerとの違いを肌で知りたい」 と考えたからです。 以前から、決められた仕様書に基づいて開発するSIerと、企画からサービスを創り上げる自社開発のプロセスの違いに強い関心を持っていました。 サイオスの10日間インターンは、企画立案からチーム実装、成果発表までを一貫して体験できるハッカソン形式です 。 「プログラミングの経験値を上げること」 と 「自社開発ならではのスピード感を体感すること」 を目標に掲げ、プロからのフィードバックを得ながら仲間と切磋琢磨できる環境で成長したいと思い、参加を決意しました。 インターンシップでの成果物 成果物の紹介 今回のインターンでは、 大学生の空きコマや隙間時間を有効活用するための自己管理アプリ「すきマネ」をチームで開発しました 。大学生ならではの「急にできた空き時間をどう使えばいいか分からない」「計画的にタスクを消化したい」という悩みを解決し、有意義な時間を過ごせるようサポートするプロダクトです。   自分の役割 私がいたチームでは特定の担当を固定せず、チーム全員でファシリテーターやタイムキーパー、書記などの 役割を交代しながら回していきました 。全員が議論の進行や進捗管理について当事者意識を持って担うことで、 偏りのない活発なコミュニケーションとスムーズな開発進行を実現 できました。また、議論が停滞したときには、次の アクションを積極的に提案 するように意識しました。 成果発表までの道のり 10日間のスケジュールは、1〜3日目がインプット、4〜9日目が怒涛の開発期間、そして10日目が成果発表という流れでした。非常に限られた期間ではありましたが、 アイデア出しから実装、そして発表までチーム一丸となって走り抜けられたことは大きな達成感に繋がりました。 一方で、チームで構想していた機能をすべて実装しきるまでには至らず、 悔しさが残る部分もありました 。 開発面・企画面での学びと成果 特に開発期間は印象に残っています。 技術面では、これまで触れたことがなかった GitHubを使ったチーム開発に挑戦 し、一連の開発の流れをしっかり理解できました。さらに、最新のAIを活用した効率的な開発手法を知ることができたのも大きな収穫です。 「 自分たちの手でプロダクトを作り上げる楽しさ」 を実感でき、エンジニアとしての確かな自信に繋がりました。限られた時間の中で企画から形にするハッカソン形式だからこそ、 スピード感とアイデアを素早く実装に落とし込むプロの思考プロセス を深く学べた10日間でした。 成果発表の感想・プロからの指摘 成果発表を通じて一番の学びとなったのは、プロのエンジニアや社員の方々からいただいたプレゼンに関するフィードバックです。 特に 「このアプリを全く知らない初見の人にどう魅力を伝えるか」 という視点の重要性を学び、ハッとさせられました。 相手のリアクションを見ながら対話するように伝える工夫や、 プロダクトの核である“隙間時間”を直感的に印象付けるカラーリング(色使い)の工夫 など、伝える技術や魅せ方においても多くの知見を得られた貴重な体験となりました。 チーム開発を通じて気づいたこと、学んだこと コミュニケーションとチームの雰囲気 チーム開発において何より重要だと実感したのは 「確認」と「リアクション」 です。 進捗や時間配分、完成イメージをこまめに確認し合い、チーム全体の共通認識を揃えることが開発のスムーズさに直結しました。 また、自分がファシリテーターを務めた際に 「リアクションがあるだけで圧倒的に進めやすくなる」 と深く実感しました。そこからは、相手の発言に対して常にリアクションを返すように意識しました。 加えて私は控えめな性格なため、自分から積極的に発言することが少し苦手でした。しかし、朝会や夕会で人事の方から 「アサーティブコミュニケーション(チーム内での発言量や、相手を尊重しながら自分の意見を伝えること)」 の大切さをアドバイスしていただき、リアクションだけでなく自分からも積極的に発言し、意見を届けることを心がけました。 チーム内は非常に雰囲気が良く、誰でも意見を言いやすい環境が整っていたため、最後まで心地よく開発に没頭できました! メンバーへの感謝と刺激 メンバー全員のリアクションが活発で、終始気持ちよく議論を進められました。さらに「ここ、私がやっておきますね!」と、全員が主体的に動けるハイレベルな仲間ばかりで、本当に助けられました。 お互いの強みを認め合い、能動的に助け合う姿勢があったからこそ、短い開発期間でも大きな成果を出せた のだと感じています。 一番ぶつかった「壁」とリアルな苦労 開発を進める中で一番の「壁」となったのは、 タスクの振り分け不足と、コードの依存関係による開発の滞り でした。 当初は「あれもこれも実装したい」と企画が膨らんでいたことに加え、他人の作った機能やコードの完成を待たないと自分の開発が進まないという、 タスクの依存関係が発生してしまい、進捗がストップしてしまう局面 がありました。開発期間が実質6日間しかない中で、「このままでは成果発表までに完成しないかもしれない」という強い焦りを感じました。 このピンチを乗り越えるため、チーム全員で一度立ち止まり、 機能を「コア機能」と「サブ機能」に明確に切り分けました 。さらにタスクの依存関係を解消して各自が独立して作業できるよう 「1人1画面を担当して実装する」という運用へ切り替え 、お互いの進捗に引っ張られずに開発を進められるよう工夫しました。 また、議論や作業が停滞しそうになった場面では 「まずはコア機能から形にしよう」と次のアクションを積極的に提案して、チームの進捗を後押ししました。 優先度と役割分担を整理したことで開発スピードが一気に加速し、成果発表の前日にコア機能がしっかり繋がって動いた瞬間は、チーム全員で大きな手ごたえと達成感を分かち合うことができました。 インターンを通しての最大の学びと、今後の目標 「働く価値観」の変化 10日間のインターンに参加する前は、エンジニアの仕事に対して「黙々とコードを書き続ける」というイメージをどこかで抱いていました。しかし、実際に自社開発の現場で企画から実装までを体験し、そのイメージは大きく覆されました。 エンジニアとは単にプログラムを書く人ではなく、 「チームで対話し、確認とリアクションを重ねながら、ユーザーの課題を解決する価値を創り出す仕事」 なのだと実感しました。自社開発ならではの意思決定のスピード感や、仲間と試行錯誤しながら成果物を形にしていく楽しさを知ったことで、 働くことへのワクワク感が一気に高まりました 。   今後の目標 この10日間で得た「チーム開発のノウハウ」や「開発の楽しさ」は、今後の大きな財産になりました。 技術面では、今回学んだ GitHubの運用やAIを活用した効率的な開発手法 をさらに深掘りし、大学生活でのプロジェクト学習やチーム運営に活かしていきたいと考えています。 そして将来は、自社開発を肌で感じたこの経験を道標に、ユーザー視点に立ちながらチームで価値を生み出せるエンジニアを目指して挑戦を続けていきます。 後輩へのメッセージ サイオスのインターンシップは、 実務に近いチーム開発を通じて自分の力を試し、エンジニアとして大きく成長できる最高の環境 です。最初は技術力やチームワークに不安を感じるかもしれませんが、主体性を持って飛び込めば、温かい社員の皆さんや熱い仲間が必ずサポートしてくれます。 「開発経験を積みたい」「自社開発の現場を感じたい」という思いが少しでもあるなら、 ぜひ恐れずにチャレンジしてみてください! ご覧いただきありがとうございます! この投稿はお役に立ちましたか? 役に立った 役に立たなかった 0人がこの投稿は役に立ったと言っています。 The post 自社開発のスピード感に挑む!企画から発表まで走り抜けた10日間の成長ロードマップ first appeared on SIOS Tech Lab .

動画

書籍