.table-of-contents ul ul { display: none; } はじめに こんにちは。検索研究ブロックの諸田とコーディネートサイエンスブロックの清水です。私たちは、2026年7月20日から7月24日までオーストラリア・メルボルンで開催されたSIGIR 2026（Special Interest Group on Information Retrieval）に現地参加してきました。本記事では、ZOZOから発表した論文内容を紹介し、あわせて基調講演やワークショップ、各セッションにおいて特に興味深かったトピックをいくつか取り上げてご紹介します。 SIGIR 2026 セッション会場の様子 はじめに SIGIR 2026とは 主な研究動向 開催地と会場 メルボルンについて 会場施設 ZOZOによる発表 背景・課題 提案したVLMベンチマーク 実験結果・考察 ポスターセッションの様子 基調講演 初日: Emancipatory Information Retrieval 2日目: Question Answering Fit-for-Purpose 3日目: From Search to Ask to Act セッションレポート （SIGIR 2026 Best Paper Award）Why Advanced Encoders Lag on Sparse Retrieval? 感想 Building a Production Shopping Agent at Scale (Amazon Rufus) 感想 Pekka: MLLM-based Product Representation Learning with User Engagement Signals for E-Commerce 感想 Dual-Diffusional Generative Fashion Recommendation 感想 MLLMRec: A Preference Reasoning Paradigm with Graph Refinement for Multimodal Recommendation 感想 まとめ そのほか現地の様子 SIGIR 2026とは SIGIR（Special Interest Group on Information Retrieval） はACM（米国計算機学会）の情報検索特別研究グループが主催する、情報検索分野において最も権威ある国際会議です。1963年の開始以来、検索およびその他の情報アクセス技術の分野における研究、開発、教育の発展を牽引してきました。 第49回となる今回は2026年7月20日〜24日の5日間、オーストラリアのメルボルンで開催されました。会場はメルボルン空港からバスに乗って1時間程度のところにあります。 本会議は、論文発表、ポスターセッション、チュートリアル、ワークショップなど多様なプログラムで構成され、世界中から多数の研究者や開発者が参加しました。 sigir2026.org 主な研究動向 今回は234件のFull Papers、151件のShort Papersをはじめ、Industrial PapersやDemo Papersなど合計656件の研究成果が発表されました。 特に、RAGやAgentのトピックについて話題が多くなってきた印象があり、これらを扱うチュートリアルやワークショップが多数開催されました。Keynoteやパネルディスカッションでは、Agentなどのシステムが複雑なIRタスクを解けるようになったことで、従来の関連性の指標を測るだけでなく、どのように検索タスク全体の「良さ」を定義して測っていくかについて注目されているという印象でした。 sigir2026.org SIGIR 2026のページに「Data Explorer」というページがあり、論文の採択数やトピックの分布などの数字がグラフで見られるようになっていました。「THE TOPIC LANDSCAPE」の情報によると「LLMs」のkeywordが一番多く、「RAG」や「Reasoning」も上位になっていることがわかります。 トピックごとの論文数 - SIGIR 2026 — The Conference by the Numbers より引用 開催地と会場 メルボルンについて 開催地のメルボルンは、伝統的には「ナーム」と呼ばれる場所で、オーストラリア国内ではシドニーに次ぐ第二の都市です。ヴィクトリア朝時代の建築物がロンドンに次いで多く残っている都市であり、歴史的な雰囲気を感じる街並みでした。基本的に7月は南半球なので冬に当たりますが、1日の寒暖差が激しく、昼は17度で夜は6度といったような温度になります。ただ、日本の冬と比べるとそこまで寒くないなと思いました。市内には路面電車（トラム）が走っていて、無料で乗れるエリアが広いのでとても便利です。物価は日本と比べて3〜4倍高いように感じました。シンプルなハンバーガーのセットが3000円くらいですし、ペットボトルの水が1本500円くらいしてびっくりしました。 会場施設 今回の会場はMelbourne Convention Exhibition Centre（MCEC）でした。サザンクロス駅から徒歩10分ほどの場所にあり、とても行きやすい場所にあります。 会場の入り口 全体のプログラムは、1日目がTutorial、5日目がWorkshopでした。2〜4日目は、「Reranking」や「RAG System」などのトピックごとに6件ほどのFull Paperを発表するSessionと、120件ほどの論文が並ぶPoster Sessionが中心でした。 ランチタイムの様子 ZOZOによる発表 今回、私たちのチームは以下の論文を発表しました。 Preliminary Study of an Evaluation Benchmark for Vision–Language Models in Fashion E-Commerce Ryotaro Shimizu*, Sai HtaungKham*, Shion Sakurai, Yuki Shimizu（*Equal contribution） 背景・課題 ファッションECでは、検索フィルターやレコメンデーション、商品掲載の品質管理のために自動属性抽出が重要な役割を担っています。近年、Vision-Language Model（VLM）がこうした構造化抽出タスクの有力な候補として注目されています。しかし、MMMUやMMBenchといった一般的なVLMベンチマークは、ファッション固有の属性やEC特有の構造化抽出タスクを十分にカバーできていません。また、VLMの出力はプロンプトの書き方に敏感であることが知られています。一方で、「オーバーサイズ」「くすんだ青」のようなファッション属性はそもそも主観的です。このあいまいさとプロンプト感度がどう影響し合うかは、これまで検証されていませんでした。 提案したVLMベンチマーク 本研究では、コーディネート画像（WEARのユーザー投稿画像）とアイテム単体画像（ZOZOTOWNの商品画像）という、2つの画像ストリームにまたがる5つのタスクを定義しました。その上で、社内の業務データとドメインエキスパートによる正解ラベルを用いたベンチマークを構築しました。 Task1：タグ抽出（コーディネート画像・33ラベルからの複数選択） Task2：カラーマッピング（コーディネート画像・35色からの複数選択） Task3：画質判定（アイテム画像・4カテゴリ） Task4：季節推定（アイテム画像・春夏/秋冬/オールシーズンの3クラス） Task5：素材推定（アイテム画像・10カテゴリ） さらに、単一プロンプトによる評価の限界を踏まえ、マルチプロンプト評価フレームワークを導入しました。これは「Canonical Prompt（人手で設計した基準プロンプト）」と「各モデル自身が自己最適化のために提案したプロンプト」の両方を、すべてのモデルに適用するものです。これにより、次の4つの指標を算出できます。 Canonical Score（C） Model-Proposed Score（MP） Robust Score（R、全プロンプト平均） Sensitivity（S、全プロンプトの標準偏差） 評価対象は商用API 6種（GPT-5.2 / GPT-5.1 / GPT-5-mini / Gemini-3-pro-preview / Gemini-2.5-pro / Gemini-2.5-flash-lite）とOSSモデル2種（Qwen2.5-VL 3B / LLaVA-OneVision 8B）の計8モデルです。 実験結果・考察 主な知見は次の5点です。 画像ストリームによってモデルの序列が入れ替わる ：コーディネート画像のタスク（Task1・Task2）ではgemini-3-pro-previewが最も高い性能を示しました。一方、アイテム画像のタスクではTask3でgpt-5-mini、Task4でgpt-5.1、Task5でgemini-2.5-proと、タスクごとに最良モデルが異なりました。軽量モデルが特定タスクで健闘するケースもあり、コスト最適なモデル選定にはタスク単位の評価が欠かせないと分かりました。 タスク難易度の差が大きい ：Task2（カラーマッピング）は商用モデルすべてが0.94以上と実運用レベルに達しています。一方、Task5（素材推定）は最高でも0.279にとどまり、両者にはおよそ3.4倍の差がありました。素材はテクスチャという触覚的な情報に依存するため、画像だけからの推定は専門家でも難しいことが背景にあると考えられます。 プロンプト感度はタスク・モデルごとに異なる ：多くの商用モデルはSensitivity（S）が0.02〜0.07程度に収まります。一方、gpt-5.1はTask2でCanonical Score 0.94〜0.95という高精度にもかかわらずS=0.288と大きくばらつきました。高精度に見えるモデルでも、プロンプトを変えるだけで性能が大きく崩れうるということです。 モデル更新は全タスクを一様に改善しない ：Gemini 2.5-flash-liteから3-pro-previewへの更新で、Task3は+13.9pt、Task1は+7.3pt改善しました。一方でTask4は−15.7ptと悪化しています。モデルのバージョンアップ時にタスク単位で再評価しないと、本番環境での性能劣化に気づけない可能性があります。 エラー傾向はモデルファミリーごとに構造的に一貫している ：t-SNEによる誤答パターンの可視化では、同一モデルはプロンプトが変わってもまとまって分布しました。GPT・Gemini・OSSの各ファミリーも、明確に分かれた領域を占めています。属性単位でモデルを使い分ける（ルーティングする）余地があることも示唆されました。 これらの結果から、VLMを本番のファッションECシステムに導入する際には、タスク単位の評価・プロンプト頑健性のチェック・継続的なモニタリングが実務上必要である、という結論に至りました。なお、本研究にはデータ規模や評価指標の面で限界もあります。今後はより大規模で多様なデータセットの構築や、公開可能なベンチマークの整備、LLM-as-a-Judgeなどの代替となる評価手法、継続的モニタリングパイプラインとの統合を検討していく予定です。 本研究の詳細については、ぜひ元論文をご覧ください。 Preliminary Study of an Evaluation Benchmark for Vision–Language Models in Fashion E-Commerce ポスターセッションの様子 ポスターセッションは7月23日の15:00〜16:15に開催されました。学生の方やIndustry Trackに出展している企業の方を中心に、多くの参加者が足を止めてくださり、盛況でした。「なぜこのベンチマークを整備しているのか」「今後はファインチューニング用のデータセットとして展開していく予定なのか」といった、今後の展開まで見据えた質問を多くいただいた点が印象に残っています。オープンなデータセットでは対応しきれない、ファッションEC特有の構造化抽出タスクに焦点を当てて整備している点に興味を持っていただくことが多くありました。「自分たちの業界でも同じような取り組みをしてみたい」といったポジティブな反応もいただけました。 ポスターセッションの集合写真 以降は基調講演や各セッション、ワークショップで特に興味深かったものをご紹介します。 基調講演 基調講演は、メインカンファレンス期間中の各日の冒頭で実施されました。 初日: Emancipatory Information Retrieval 初日は、元Microsoft社員で、現在は研究者のBhaskar Mitra氏による基調講演「Emancipatory Information Retrieval / Towards Critical IR Theories and Practices」でした。 「どうしたら検索システムが社会的善（societal good）の力になれるのか？」というのが講演全体を通しての問いでした。現在の検索システムが元々期待されていたような「認知を支援する中立的な技術」ではなく、「政府による情報統制や企業によるユーザー監視が行われる仕組み」になっているという問題を指摘しています。批判的IRへ転換するために、6つの提言（技術の社会的構築／構造分析／非支配／知識の社会的構築／技術者＝解放者フレームの解体／プラクシス）と具体的な研究アジェンダまで提示されていました。 自身が19年間ビッグテックにいたという経験があったからこそかもしれませんが、自分が元いた場所を含むビッグテックへの問題点を指摘して改善するための行動を起こしているというのが印象深かったです。検索システムを改善する身としては考えさせられる内容でした。 2日目: Question Answering Fit-for-Purpose 2日目は、CSIRO（オーストラリア連邦科学産業研究機構）のCécile Paris氏による基調講演「Question Answering Fit-for-Purpose: A Perspective from Computational Linguistics and User Modelling」でした。 質問応答システムが本当に「目的にかなっている」かどうかは、利用者・タスク・文脈まで含めて評価しなければ分からない、というのが講演全体を貫く主張です。同じ「マイクを説明して」という質問でも初心者と専門家では適切な答えが異なる、という初期の対話システムの例を挙げながら、質問応答は常に相手の知識や文脈に依存すると論じられました。その上で、LLM時代においても計算言語学やユーザーモデリングの知見に立ち返ることの重要性が訴えられました。 評価に関する議論が個人的には興味深かったです。共有ベンチマークだけでなく実際の文脈の中で評価する必要があること、ベンチマークと実世界のシナリオにはギャップがあること、そして失敗が現実世界で悪影響を及ぼしうることが強調されていました。 3日目: From Search to Ask to Act 3日目は、中国人民大学 高瓴人工知能学院 教授・創設学院長のJi-Rong Wen氏による基調講演「From Search to Ask to Act: The Evolution of Information Access in the Age of Large Models and Agents」でした。 情報アクセスの進化を「Search（検索）→ Ask（質問）→ Act（行動）」の3段階として捉えた講演です。BM25や埋め込みによるランキング改善は「マッチング」の精度を上げるにとどまり、「理解」や「タスク完遂」には届かなかったという検索の歴史をまず振り返りました。その上で、RAGによって生成モデルと知識を再接続する流れが紹介されました。さらに、Plan→Search→Read→Reflect→Writeのループを自律的に回すDeep Search Agentへと発展してきた経緯が、ご自身の研究チームの成果を通じて語られました。Search-o1やWebThinker、DeepAgentといった一連の研究がその例です。最後は「次の検索エンジンはリサーチエージェントである」という言葉で締めくくられ、検索はリンクのリストを返すものから、完了した情報タスクを届ける自律的なプロセスへと変わりつつあると論じられました。 個人的に興味深かったのは、ハーネス（足場）の設計を工夫するだけでReActベースラインの正答率を54%から74%まで改善したSearchClawの結果です。モデルそのものの強さ以上に「エージェントをどう組み立てるか」が性能を大きく左右する、という点が印象に残りました。 セッションレポート 論文発表セッションやワークショップで聴講したトピックをいくつかピックアップします。 （SIGIR 2026 Best Paper Award）Why Advanced Encoders Lag on Sparse Retrieval? Zhichao Geng, Yang Yang arxiv.org こちらの論文はSIGIR 2026でBest Paper Awardを獲得した論文です。 密検索（dense retrieval）で性能が良い基盤モデルが、学習型スパース検索（learned sparse retrieval,LSR）ではほとんど性能が向上しないという異常な現象の根本原因が語彙ギャップ（vocabulary gap）であると特定した論文です。 ここで「語彙ギャップ」と呼んでいるものは、バックボーンのトークナイザの語彙がLSRと相性が良くない状態になっているというものです。ModernBERT / RoBERTa などの現代トークナイザは可逆的復元ができるように「小文字化しない」「アクセント除去などの正規化を持たない」、などの特徴があります。ただ、LSRだと「House」と「house」のようなほぼ意味が同じ2つの単語が内積0になるため、同じ意味だと認識できなくなります。モデル学習によって大量のデータで学習すればある程度は対応できるようになりますが、そのようなパターンをさまざまな語彙で認識する必要があるので、モデルの容量に対して効果のある語彙数が減ってくるという問題が起きます。密検索の場合は1つのトークンをembeddingで表現できるので、2つの単語を空間上の近いところに配置するということがやりやすいです。 他にも、スパース検索に適した語彙を用いてモデルをスクラッチから学習させるという方法も考えられますが、モデルの大きさや必要になるデータセットの大きさを考慮するとコストや計算量の観点から作成は難しくなります。 手法としては語彙転移(Vocabulary Transfer, VT)が提案されています。これは元のModernBERT 学習トークンの0.2% 未満を用いて、わずか 500 MLM ステップで最適に近い性能を達成するという効率的で効果的な方法です。ステップとしてはまずは正規化された小文字化済み語彙の bert-base-uncased をアンカーとして選びます。ModernBERTとの重複していない新規トークンに対しては重複しているアンカーのなかで近い語彙をいくつか選んで類似度を元に混ぜたものを埋め込みとし、ModernBERTの語彙の分布を元に分布を調整します。最後にTransformer 層を凍結し、埋め込み層のみを短いMLMで更新することで適合させます。 ベースラインとしてはBM25やColBERTv2、ModernBERT（dense）など確立された密・スパースなニューラル検索器と比較していました。 利用したデータセットはBEIRとMS MARCOです。評価指標は平均nDCG@10を利用していました。主な成果としては、本手法を使ったModernBERT-VTが5教師のアンサンブル学習パイプラインという複雑な仕組みを利用しているSPLADE-v3のスコアの52.0を上回る52.4というスコアを出したことです。また、バックボーンがRoBERTa-largeやbert-base-casedの際に、密検索と比べてSPLADEの精度が大幅に悪化していた問題についても、VTを使うことで精度が回復していることを確認しました。 他にも単純にMLMを使ったケースやlowercaseへの前処理をしただけのケースなどの手法と比べても、明らかに精度が良くなっていることを確認しています。 感想 SPLADEの課題点であったバックボーンを変えたときに性能が改善しない、むしろ悪化するということに対して問題の切り分けの仕方や、比較的軽量な学習で改善できるという解決策が実務で導入しやすいと思いました。もし業務としてSPLADEを使っていて、基盤モデルの進化に追従していきたいという場合には十分に使える技術だと思います。着眼点の良さや理論的な分析、実際に適用できる範囲の広さ、精度の高さと手軽さが揃った論文になっていて、Best Paperとしての完成度の高さを感じました。 Building a Production Shopping Agent at Scale (Amazon Rufus) Chen Luo, Jason Choi, Ziwei Dong, Rahul Dua, Cong Xu, Xuejing Lei, Yuchen Yan, Xin Zhang, Josef Valvoda, Gaurang Sinkar, Binit Jha, Yi Liu, Monica Cheng https://dl.acm.org/doi/10.1145/3805712.3808408 dl.acm.org この発表はAmazonの会話型ショッピングエージェントRufusを本番規模で1年間運用した経験の共有です。 Rufusシステムのエージェントアーキテクチャ、エージェントを実世界のトラフィックにスケールさせるための技術、ショッピングエージェントの評価方法、という3つの中核的な貢献について報告しています。 RufusシステムはReActスタイルのエージェント的フレームワークに従うエージェントで、中のLLMが「推論（reasoning）」と「ツール呼び出し（tool invocation）」を交互に行います。構造化されたエージェントコンテキストを構築した上で、制限されたツールからアクションを選択します。ツール呼び出しは反復的に行うものの、実際の本番設定では最大4ホップにしていて、過剰な呼び出しを防いでいるようです。エージェントの振る舞いは宣言的（declarative）なシステムプロンプトによって統制することで、誤ったアクション選択や根拠のない生成など望ましくない振る舞いを経験的に低減しています。 LLMベースのエージェントを大規模にデプロイする際の主要なボトルネックとして「レイテンシ」を取り上げているようです。本研究では意思決定品質を保持しつつ、モデルが目にする実効的な計算作業量を削減することに焦点を当てています。解決策として、以下4つの補完的な技術を統合しているようです。 入力トークン長を最小化するコンテキストサイエンス トークン効率とキャッシュ再利用を向上させるプロンプト最適化 推論ステップ数を削除するツール呼び出し最適化 実行間で繰り返される計算を償却するプロンプトキャッシング 各最適化手法に対して相対的なレイテンシ削減や初トークン到達時間削減を調べたところ、トータルではどちらも45〜60%を削減し、特にコンテキストサイエンスが最大の効果をもたらしていることがわかりました。 本番稼働ショッピングエージェントを大規模に評価するために、本研究では真値（ground truth）の検証のための人間評価と、スケーラブルな自動評価のためのLLMを審判とする評価（LLM-as-a-Judge, LLMaJ）を組み合わせたようです。Rufusでは2つの中核指標を定義していて、1つが推薦品質スコア（Recommendation Quality Score, RQS）で個々の商品評価を1-5のスケールに集約します。もう1つが有用性スコアで、ショッピングアシスタントとしてのエージェントの有効性を5段階のスケールで測定するようです。この2つのスコアを人間評価と自動評価の組み合わせを用いて算出しました。自動評価の自動アノテーター間の一致度は単一クエリだと82~84%、マルチターンだと64~74%でした。人間評価による有用性スコアおよびRQSスコアは、単一クエリ、マルチターンともに84%~88%になっていました。 ケーススタディとして、AmazonのショッピングエージェントはRufusチャットボットをサポートすることに加えて、Search Overview（検索概要）、Accordion（アコーディオン）、RQ Agent（関連質問エージェント）の機能も紹介されていました。 Search Overview（検索概要）は検索結果の上部に説明が載っているもので、商品検索を「検索（retrieval）」から「生成（generation）」へと転換する生成AIのショッピング体験です。単一商品タイプのクエリではRufusのエンゲージメントを16.33%も増加させたようです。 Accordionは検索結果ページ内に直接埋め込まれたインラインのFAQ体験と説明されています。キーワードあたり5つの質問を生成していて、質問ー回答ペアをキャッシュしているようです。Accordionの品質を改善することでRQ有用性や応答品質が95-98%の水準まで達していました。 RQ Agentは顧客がRufusとインタラクションする入り口で、検索結果ページや商品詳細ページで、1-3語のフレーズや30文字以内の簡潔な質問として現れます。RQ AgentはRufusのエージェントアーキテクチャの上に構築されていて、運用の複雑さを減らしているようです。米国でローンチされていて、本番ベースラインに対して一貫した品質向上を実証しています。 感想 Amazonが実際にRufusを運用してきたリアルな実態がわかる良い発表だと思いました。エージェントのアーキテクチャが整理されていることで、Chatbotのような体験だけではなく、そのアーキテクチャの延長で検索概要やAccordion、RQ Agentなどの出面や活用の幅を広げられるというのが興味深かったです。LLMを使ったショッピング体験はかなり多様なものになりそうだと感じました。評価指標としてはLLM as a Judgeを使いつつ、人間の評価は結構重視しているという印象でした。評価部分は機能の精度を向上させるための肝となる部分だと思うので、今後も動向を追っていきたいです。 Pekka: MLLM-based Product Representation Learning with User Engagement Signals for E-Commerce Rui Yan, Kevin Huang, Miao Li, Zhenyuan Liu, Mina Ghashami, Michael Schlichtkrull, Miguel Arduengo, Wenliang Gao et al. https://sigir-ecom.github.io/eCom26Papers/paper_788.pdf sigir-ecom.github.io SIGIRのworkshopであるECOM'26の内容です。 Meta社がPekkaという商品埋め込みフレームワークを提案しました。MLLMの表現学習に対比学習向けの高品質な共クリック商品ペアを使うことで、行動的検索、クロスモーダル検索、テキストのみの検索ランキング、マルチモーダル検索ランキングにまたがる公開ベンチマークで各分野のベースラインを上回る結果を出したというものです。 この技術はECのランキングにおいて有効な商品埋め込みを作成することを目的としています。商品埋め込みを作成する既存の手法では画像ーテキスト整合やクエリー文章関連性のような意味的教師信号で学習されているところを、Pekkaではセッション内の共クリックという行動的教師信号を使うところがユニークなポイントです。 Pekkaは以下の3つの構成要素からなります。 画像とテキストを共同モデル化するMLLMエンコーダ 閲覧ログから高品質な共クリックペアをマイニングするスケーラブルなパイプライン バッチ内負例（in-batch negatives）、オフラインでマイニングされたハード負例（hard negatives）、頻度重み付き教師信号を用いた対比最適 visionエンコーダはSigLIP2のような事前学習済みのモデルを用いて、MLLMバックボーンはQwen3-VLやLlama 3.2-11Bのようなモデルを利用しています。埋め込みは256次元です。 閲覧ログは有用な情報であるとともに、偶発的なクリック、ボット、弱い関連を含んでいるという前提があり、キュレーションの方法として2段階のパイプラインが提案されていました。1段階目は2回以上観測されたクリックのペアで絞り込み、2段階目はCLIPを用いた意味フィルタリングで0.65以上の類似度があるペアに絞り込んでいます。 実験では3つの独立したECプラットフォームからの4つの公開データセットを用いました。H&Mがテキスト+画像の行動的タスク、M5Productがテキスト+画像のクロスモーダル検索タスク、ESCIがテキストの検索ランキングタスク、SQIDがテキスト+画像の検索ランキングタスクとなっています。評価指標としては関連性が二値であるH&MとM5ProductについてはRecall@k(R@k)を使っていて、関連性が段階的であるESCIとSQIDについてはR@kに加えてnDCG@10が使われています。baselineとして使われているモデルはVision-OnlyのDINOv3 ViT-L/16、デュアルエンコーダ型のVision-Languageを扱えるCLIP ViT-L/14とSigLIP2-SO400M、MLLMベースのE5-VとQwen3-VL-2Bでした。 どのモデルもベンチマークのデータを学習せずに評価を行ったところ、Pekkaは他のベースラインの埋め込みよりも小さい256次元埋め込みを用いているにもかかわらず、総合的に最も強い性能を示しました。これによって、Pekkaの共クリックデータの学習がドメイン最適化ではなくクロスドメイン転移できるものであることがわかります。 商品埋め込みに対しての品質評価を行ったところ、属性の分類精度で、スタイル、色、カテゴリのどのラベルに関してもPekkaが最も良い結果となりました。 また、Meta社内の同一のECデータを使って学習をした上での評価を行ったところ、ResNeXt-101・Text Transformer・CLIP（fine-tuned）のモデルと比較してもPekkaが最良の結果を出しています。CLIPベースラインに対するPekkaのカテゴリごとのRecall@10の相対的改善を調べたところ、最大の改善があったカテゴリはHousing（+60%）で、次がClothing&Accessories（+37%）でした。 Pekkaは実際に本番環境へデプロイされているようで、社内のオフライン評価で第2段CTRの正規化交差エントロピーで0.10%、CVRで0.15%、第1段CTRで0.10%の相対的改善が得られているようです。 感想 画像とテキストのマルチモーダルなモデルは意味理解の方に重点が置かれていることが多く、ECの文脈でそのまま使うのは難しいなと思うことが多かったので、共クリックに着目したのは興味深いなと思いました。意味理解を損なわずに購入に対しても良い結果を出しているようだったので、活用できる可能性は高そうです。埋め込みの次元数が256という小さいサイズかつ性能が良いというのも実戦投入しやすい要素だなと思いました。ベンチマークとしてH&Mが購入をラベルとしたECのデータセットを使っていましたが、セッション内のランキングの情報はないので、ランキングタスクにするとどれくらい良いのかは気になります。また、オンラインでのA/Bテストの結果はない、オフライン評価での改善が0.1%ほど、そもそもどんなサービスで検証したのかがわからないという部分を考慮すると、ECの場面で取り入れたときにどれくらいの改善が見込めるかは未知数な部分も多いと感じました。 Dual-Diffusional Generative Fashion Recommendation Mingzhe Yu, Lei Wu, Qianru Sun, Yunshan Ma arxiv.org 既存の画像中心の生成型ファッション推薦は、履歴インタラクションから得られる暗黙的な視覚埋め込みのみに依存しているため、ユーザーの真の嗜好を十分にモデル化できていませんでした。また、生成結果が画像のみであるため、なぜそのアイテムが推薦されたのかを説明する手段がなく、説明可能性が欠如しているという課題もありました。 本研究が提案するDualFashionは、Dual-Diffusion Transformerをベースに画像ブランチとテキストブランチを並列に持つアーキテクチャです。条件付け信号には、ユーザー選好、コーディネート文脈とのマッチング条件、タスク定義の3種類を用います。画像ブランチでは連続拡散によりアイテム画像を、テキストブランチでは離散拡散により色・素材・デザイン・スタイルといった属性トークンを予測しながら、画像と説明テキストを同時に生成します。学習はウォームアップ、マッチング考慮のマルチモーダル学習、テキスト拡張ファインチューニングの3段階で行われます。特に3段階目では、LLMで1コーデにつき5種類の多様なキャプションを生成し、テキスト損失のみでファインチューニングします。これにより、画像レベルの強化学習に比べて計算コストを大きく抑えながら、生成の多様性を高めています。 評価はiFashionとPolyvore-Uの2つのデータセットで行われています。タスクはPersonalized Fill-in-the-BlankとGenerative Outfit Recommendationの2つです。iFashionのPFITBタスクでは、DiFashionと比べてIS（Inception Score）を3.7%改善しました。パーソナライゼーションスコアでも65.17とFashionDPO（60.39）を上回っています。アブレーションでは、テキスト拡張ファインチューニングの導入により、多様性が0.64から4.25へ大きく改善することも確認されています。これらの結果は、効率性と解釈可能性を両立できる手法であることを示しています。 感想 気になったのは、画像の構造化情報（属性レベルの構造化キャプション）を、生成モデルの条件付け信号として明示的に活用している点です。私たちがSIGIR 2026で発表したベンチマークでは、コーディネート画像から抽出したタグやカラーといった構造化属性を、主に検索フィルターやレコメンドの前段の特徴量として使うことを想定していました。しかしDualFashionの結果は、同じ構造化属性が拡散モデルの条件付けとして機能し、生成の互換性やパーソナライゼーションの向上に直接寄与することを示しています。つまり画像の構造化は、検索・レコメンドだけでなく、生成モデルそのものの安定化にも拡張できる可能性があるということです。WEARのコーディネート画像から抽出している構造化属性も、将来的なコーデ提案や着せ替え生成といった生成系機能の条件付けに転用できるかもしれない、という気づきがありました。 MLLMRec: A Preference Reasoning Paradigm with Graph Refinement for Multimodal Recommendation Yuzhuo Dang, Xin Zhang, Zhiqiang Pan, Yuxiao Duan, Wanyu Chen, Fei Cai, Honghui Chen arxiv.org マルチモーダル推薦は、ユーザーの行動履歴とアイテムのモーダル特徴（画像・テキストなど）を組み合わせることで、IDベースの推薦手法より優れた性能を示しています。しかし既存手法には2つの課題がありました。第一に、ユーザー表現の初期化が過去の行動を無視するか、無関係なモーダルノイズの影響を受けてしまうことです。第二に、広く使われているKNNベースのアイテム間グラフは、類似度の低いノイジーなエッジを含む一方で、同じユーザーに購入される組み合わせといった共起関係を捉えきれていないことです。 本研究が提案するMLLMRecは、まずマルチモーダル大規模言語モデル（MLLM）を用いてアイテム画像を高品質なテキスト記述に変換し、視覚とテキストのモダリティギャップを埋めます。続いて、ユーザーごとの行動履歴に紐づくアイテムの説明を時系列順で並べた「行動記述リスト」を構築します。これを再びMLLMに入力し、ユーザーの潜在的な相互作用の意図（なぜそのアイテムを選んだか）を推論させます。その結果として、モーダルノイズを除去した高品質なユーザー選好プロファイルが得られます。さらにアイテム間グラフも、低類似度のノイジーなエッジを刈り込む「閾値制御デノイジング戦略」と、ユーザー集合のJaccard類似度から共起関係を補完する「トポロジー認識強化戦略」の2つで洗練します。その上で、LightGCNベースのグラフ畳み込みにより高次のアイテム表現を学習します。 Amazon製品データセットのBaby・Sports・Clothingの3種類を用い、Recall@{10,20}とnDCG@{10,20}で既存手法と比較しています。実験の結果、MLLMRecは3データセットすべてで最も強いベースラインに対して平均21.48%の性能改善を達成しました。提案する2つのグラフ洗練戦略やMLLMによる選好推論が、既存手法の弱点を解消する上で有効であることも確認されています。 感想 気になったポイントは、MLLMによる「画像から言語的な意味記述への変換」を推薦の意図推論にまで応用している汎用性の高さです。本研究では画像をテキスト化するだけでなく、ユーザーの行動列全体をMLLMに読ませて「なぜこのアイテム群を選んだか」という潜在的な意図まで言語的に抽出し、それを推薦の入力表現として使っています。私たちがSIGIR 2026で発表したベンチマークも、画像からタグや色などの属性を言語的に構造化抽出する取り組みです。一方で本研究は、そうした言語的抽出が単体の属性ラベリングにとどまらず、ユーザー単位の嗜好推論やグラフ構造の補完にまで広く応用できることを示しています。LLMによる言語的な抽出は、検索・レコメンドの前処理としての用途だけでなく、より上流の「意図推論」や「関係性の補完」といった応用にも展開できる可能性がある、という気づきがありました。 まとめ 今回のSIGIR 2026では、生成AIが検索分野で利用されることがより当たり前になっていく未来を感じました。理論的な研究やEC企業の実用例をみて、LLMを使った手法でまだ確立されたものがあまりない中、それぞれの工夫で試行錯誤しているなと思いました。今回学んだ技術を実際に試したり、ドメインに合わせて改善したりなどで今後のプロダクトに活かしていきたいです。 次回のSIGIR2027は50周年記念大会で開催地はシリコンバレー そのほか現地の様子 夕方のメルボルンセントラル駅 街並みと路面電車(トラム) 会場周辺の風景 ウェルカムレセプションにいたコアラ 授賞式パーティーの様子 ZOZOでは、一緒にサービスを作り上げてくれる仲間を募集中です。ご興味のある方は、以下のリンクからぜひご応募ください！ corp.zozo.com

1. はじめに 生成AIをコーディングエージェントから利用するケースが増えると、単に「モデルを呼び出せる」だけでなく、誰がどれだけ利用したのか、利用額が一定額を超えたときに止められるのかといったコスト管理も重要になります。 Amazon Bedrock AgentCore Gateway には、Gateway を通過するリクエストの前後に独自処理を挟める Interceptor があります。 Interceptor には大きく次の2つがあります。 REQUEST Interceptor：ターゲットを呼び出す前に処理を実行 RESPONSE Interceptor：ターゲットからレス

はじめに こんにちは。グループIT推進本部の鷹雄です。 Codex Ambassadorとして、社内 ...