こんにちは、データサイエンス部商品データサイエンスブロックの 荒木 です。我々のチームでは、AIやデータサイエンスを活用したプロダクト開発のため、研究開発に取り組んでいます。今回は、ZOZO NEXTのメンバーとともに2026年8月3日(月)から8月6日(木)にかけて出島メッセ長崎で開催された画像の認識・理解シンポジウム (MIRU) 2026に参加しました。本記事では、MIRU2026でのZOZO・ZOZO NEXTメンバーの取り組み、MIRU2026の様子や参加メンバーの気になった発表を報告します。 本記事は、データサイエンス部商品データサイエンスブロックの西山、同部コーディネートサイエンスブロックの大川、ZOZO研究所の和田、清水、古澤、サイ、平川、川島、武本、陳の協力のもと執筆されました。 目次 目次 MIRU2026 企業展示 全体の動向 昨年の記事との比較 ZOZO・ZOZO Researchメンバーの発表 [OS2D-10] Reference-Free Image Quality Assessment for Virtual Try-On via Human Feedback [IS1-149] MultiEmo-Bench: Multi-label Visual Emotion Analysis for Multi-modal Large Language Models [IS2-053] FashionOps-Bench: ファッションEC業務における視覚言語モデル評価ベンチマークの構築 [IS2-071] コーディネート推薦モデルのための集合関数の事前学習法 [IS2-077] 生成画像編集モデルによる服装の似合い度編集の人手評価に関する予備的検討 [IS2-080] 効率的マルチプロンプトVLM評価はいつ必要か:フロンティアモデルにおけるプロンプト感度の減衰 気になった研究発表 [IS1-105] Eコマース類似画像検索に向けたネイティブアスペクト比対応画像特徴モデルの構築 [OS1E-04] Quantifying Style Specificity of Font Impressions via Hyperbolic Co-Embedding [OS2D-02] HyDE Vector Mix: クエリと仮想回答の重み付き混合による高精度な密ベクトル検索 [OS3B-03] 数式駆動教師付き距離学習 [OS2E-10] CIRCLED: 一貫した対話と複数ドメインを備えたマルチターンCIRデータセット [OS1E-01] What-Where Transformer: 物体の意味と位置情報を分離し並行処理する画像バックボーン まとめ 最後に MIRU2026 MIRUとは、画像処理やその周辺の諸分野のトピックを取り扱う、国内において最大規模のシンポジウムです。毎年、コンピュータビジョンをはじめとしたさまざまな画像系の学術分野についての発表や、それに関する議論が活発に行われています。2026年の今回は、長崎市の出島メッセ長崎において開催されました。 MIRUの慣習として、1日目はチュートリアルセッションや特別講演を実施して、2日目以降で本会議がスタートするようなプログラムとなっていますが、今年は1日目の夜にウェルカムレセプションが開催されました。これは、MIRU史上初のイベントです。かつて、1日目の夜にはコミュニティの若手研究者のためのイベント「若手の会(現:若手プログラム)」が開催されていました。この時間帯に全員参加できるイベントが実施されるようになったことを鑑みると、MIRUおよび国内の研究コミュニティの多様性が広がっていることがうかがえます。 実際に、MIRUの参加者数は増加傾向にあり、今年は1,538名が参加しました。これは、2020年から2024年まで設けられていた遠隔聴講枠の人数を除くと、過去最大の参加者数です。さらに、発表件数も2020年から大きく増え続け、今年は932件の発表がありました。興味深いことに、参加者数は昨年から大きく増えたわけではありません(1,479名→1,538名)が、発表件数は約28.4%増(726件→932件)となっています。このこともあってか、今回は招待講演およびオーラルセッションが2会場でのパラレル実施となりました。聴講者として参加するだけでなく、実際に論文を投稿してコミュニティに貢献する方も増えていることが読み取れます。 そして、今年もZOZO NEXTはMIRU2026にゴールドスポンサーとして協賛いたしました。企業展示ブースの様子は次章にて紹介します。 企業展示 企業展示ブースでは、ZOZO NEXTの取り組みをポスター形式でご紹介しました。ZOZOの多角的なファッションサービスと多様なデータ資産に加え、ZOZO Researchが近年発表した論文、そして、機械学習を用いた実サービスへの応用事例についてご説明しました。今年も、多くの方々からご関心をお寄せいただき、お話をさせていただけたことを大変嬉しく感じています。 ブースにお越しいただいた皆様、各種トピックについてディスカッションしていただいた皆様にこの場を借りてお礼申し上げます。誠にありがとうございました。展示していたポスターはこちらです。 全体の動向 年に1回、画像を専門とする国内の研究者が一堂に会する会議、それがMIRUです。その性質上、参加するだけで業界の研究トレンドを横断的に把握できるのもMIRUの良さの1つです。去年のレポートでは、CLIPをはじめとする視覚言語モデル (Vision Language Model; VLM) を下流タスクに活用する研究が数多く見られたことを報告しました。 techblog.zozo.com 今年は、とにかくVLM、そしてマルチモーダル大規模言語モデル (Multimodal Large Language Model; MLLM) に関する研究を頻繁に見聞きしました。口頭発表およびインタラクティブセッションのどちらにおいても、これらを前提に議論が組み立てられている発表が本当に多く、もはや特定の研究トピックというより共通の道具になったという印象です。 その使われ方も、単純にVLM活用とは言えないほどに多様化しています。既存のVLMを特徴抽出器や推論エンジン、あるいはアノテータの代わりとして使う研究がある一方で、VLM自体の追加学習・軽量化・評価など、モデルそのものを対象にした研究が同じくらいの厚みで存在しています。特に目についたのは後者です。ハルシネーションの検出や軽減、出力の不確実性や信頼度の推定、MLLM自身を評価者として用いるMLLM-as-a-Judgeのバイアス分析、そして特定のトピックや領域に合わせた評価ベンチマークの構築といったテーマがありました。道具として定着したからこそ、その課題や限界を調査して解決する動きが出てきたのだと思います。 使われているモデルの顔ぶれが1年で大きく入れ替わっていたことも印象的でした。昨年はCLIPやGPT-4oを比較対象として見かけることが多かったのですが、今年はQwen3-VLやInternVL、GeminiやGPT-5系が並んでいます。視覚特徴の抽出についても、CLIP一択ではなくDINOv2やDINOv3、SigLIPを採用する研究が増えており、バックボーンの進化の凄まじさや選定の重要性についても考えさせられました。 一方で、3D再構成の研究も引き続き盛んに行われています。昨年目立った3D Gaussian Splattingは今年さらに広がり、少数視点からのfeed-forward推定や、反射・照明を扱う拡張など、応用の幅が明確に増えていました。VGGTやDUSt3Rといった3次元の基盤モデルを前提に用いる研究が増えているのも、基盤モデルの多様化が進んだ今年らしい変化です。加えて、ロボティクスやフィジカルAIに関する発表も増えていました。Vision-Language-Action (VLA) モデルやEmbodied AIのベンチマークなど、実世界を「見る」だけでなく「見て動く」ための研究が広がってきていることを肌で感じました。 また、推論コストやレイテンシ、モデルの軽量化、運用中のモデル更新といった、研究成果を運用に乗せるうえで避けては通れない論点を扱う発表も、昨年よりも多くなった印象です。研究と実装の距離がより近づいていることを感じさせます。 昨年の記事との比較 せっかくなので、 昨年の記事に書いた「全体の動向」 が、1年経った今どうなったかを調べてみました。 「CLIPをはじめとするVLMの活用が特に多い」 :この傾向は続いており、VLM・MLLMに言及する発表がさらに増えました。ただし、CLIPだけでなくDINOv2・DINOv3やSigLIPをベースラインに選ぶ発表がかなり増えました。視覚特徴を抽出する手法の有力な選択肢が複数登場しています。 「自らデータセットを作成、あるいは公開データセットを拡張して応用研究に取り組む」 :こちらは完全に定着しています。今年も多くの研究がベンチマークやデータセットの構築に言及しています。 「生成モデルの実用性とリスク管理、制御性や安全性」 :リスクの論点そのものが移動した印象です。著作権や権利保護に触れる発表は(完全に無くなったわけではありませんが)減った一方、モデル出力の安全性や公平性・バイアスを扱う発表は増えました。「生成物の権利をどう守るか」から「モデルの振る舞いをどう検証するか」へ、関心が移ったようなイメージです。 「2024年はNeRF、2025年は3D Gaussian Splatting」 :このトレンドも継続しています。3D Gaussian Splattingを扱う発表は増えていますが、NeRFは横ばいです。また、1日目のチュートリアルセッションでは、大阪大学の千葉先生が「三次元データ処理の動向」を講演しました。講演では、NeRFから3D Gaussian Splattingへトレンドが移り、現在は2D Gaussianや三角形メッシュなど、3D Gaussian以外のプリミティブへトレンドが移りつつあることが紹介されました。 昨年のレポートには書いていませんでしたが、昨年の時点ではVLMの活用がより深まっていくだろうと感じていました。ですが、実際はその予想を超える勢いで進んでいます。来年はこの「道具としてのVLM」をどう評価し、どう運用に載せるかという話がさらに前面に出てくると予想しています。また、マルチモーダル化やフィジカルAIに関しても、この勢いでどんどん進んでいくと考えています。 ZOZO・ZOZO Researchメンバーの発表 オーラルセッションにて1件、インタラクティブセッション5件の研究を発表しました。各研究の要約は以下の通りです。 [OS2D-10] Reference-Free Image Quality Assessment for Virtual Try-On via Human Feedback Yuki Hirakawa (ZOZO Research, Keio Univ.), Takashi Wada, Ryotaro Shimizu, Takuya Furusawa, Yuki Saito (ZOZO Research), Ryosuke Araki (ZOZO), Tianwei Chen, Fan Mo (ZOZO Research), Yoshimitsu Aoki (Keio Univ.) 本論文では、バーチャル試着(Virtual Try-On:VTON)画像の品質を、参照画像を必要とせず(reference-free)人間の知覚に近い形で自動評価する画質評価モデル「VTON-IQA」と、大規模な品質評価データセット「VTON-QBench」を提案しています。 バーチャル試着の評価指標として従来広く用いられてきたSSIMやLPIPSは、生成画像と正解画像の対応を前提としています。そのため、実際のECサービスのように正解画像が存在しない場面では利用が困難です。一方、FIDやKIDは画像集合における全体の品質を評価する指標であり、個々の試着画像の品質を評価できないという課題があります。さらに、人物のポーズや画像の拡大率が変化すると、人間には自然に見える画像でも低く評価される場合があります。 これに対し、提案手法であるVTON-IQAは、衣服画像、人物画像、生成された試着画像の3枚を入力します。評価するのは、衣服の形状や柄、ロゴなどを再現できているかを示す「衣服の忠実性」と、人物の顔や体型、背景などを保持できているかを示す「人物・背景の保持性」です。モデルにはInterleaved Cross-Attention(ICA)を導入し、試着画像を中心として衣服画像および人物画像との対応関係を効果的に学習する構造を採用しています。また、品質スコアを予測する回帰学習と、2枚の試着画像の優劣を学習するペアワイズ順位学習を組み合わせることで、人間の主観評価に近い品質予測を実現しています。 さらに、学習用データセットとしてVTON-QBenchを構築しています。これは、14種類の代表的なVTONモデルから生成した62,688枚の試着画像に対し、13,838人の評価者による431,800件の品質アノテーションを収集した大規模なVTON品質評価データセットです。実験では、VTON-IQAは人間評価との相関において既存指標を大きく上回る性能を達成し、未知のVTONモデルに対しても高い汎化性能を示しました。 本研究は、正解画像を必要とせず、人間の知覚に基づいて個々のバーチャル試着画像を評価できる新たな評価基盤を提供しており、今後のVTONモデルの開発や品質管理、性能比較への応用が期待されます。 発表資料は以下から閲覧できますので、ご興味のある方はぜひご覧ください。 speakerdeck.com [IS1-149] MultiEmo-Bench: Multi-label Visual Emotion Analysis for Multi-modal Large Language Models Tianwei Chen, Takuya Furusawa, Yuki Hirakawa, Ryotaro Shimizu, Fan Mo, Takashi Wada (ZOZO Research) マルチモーダル大規模言語モデル(MLLM)の感情理解を評価する際、既存ベンチマークでは「どの感情が喚起されるか」「どれが強いか」までしか測れず、視聴者集団における感情分布への適合度は評価できません。先行研究は離散判断・記述評定・強度順位付けの3パラダイムを提案しましたが、順位付け型は各感情の喚起量を問わず上位3感情のみを対象とするため、過剰予測の失敗が露呈しません。感情分布を持つ既存データセットにも、データ規模の小ささ(280〜1,980枚)、アノテーション密度の低さ(1枚あたり7人未満)、支配感情の偏り(59〜75%が同一カテゴリ)という課題があります。 そこで本研究では、EmoSetとFIのテストセットから10,344枚を再アノテーションしたMultiEmo-Benchを構築します。1枚あたり20人(関連研究の中で最多)がMikelsの8感情から複数選択する方式で計236,998票を収集し、感情ごとの周辺支持確率ベクトルを目標値に設定します。画像選定では3モデルに元ラベルの妥当性を判定させ、不一致5,279枚と層化抽出した一致5,065枚を結合します。これにより、最大カテゴリ約20%というバランス、および従来最高の密度を同時に達成しました。品質管理は資格タスク・注意チェック・A/Bテストの3段階で構成されています。これにより、20人のアノテータによる結果は193人による結果とPLCC 0.836で一致しており、新ラベルは元ラベルより58.7%対25.1%で支持されることを確認しています。評価は11指標・2プロトコル(感情ごとに個別質問するask each/8感情を一括質問するask all)の枠組みで実施しました。GPT系・Gemini系・Claude Sonnet 4・Qwen3-VL系の11モデルを同一条件で比較し、アノテータを10対10に分割した際の人間同士の一致度を、参照値として併置しました。 実験の結果、次に挙げる3点を確認しました。第1に、全モデルが系統的に感情を過剰予測し(総質量バイアス+1.08〜+3.09)、ほとんど誰も報告しない感情まで付与する一方、感情を一括で問うプロトコルではこの過剰がほぼ半減しました。第2に、順位一致(SRCC 0.59対人間0.66)は人間水準に近い一方で、総質量MAEは最良0.68対人間0.05と大きく乖離し、順位評価は分布評価の代替にならないことがわかりました。第3に、残るギャップは「認識」でも「順位」でもなく「何人が感じるかの見積もり」に集中しており、この傾向は選定バイアス検証用の一致・不一致サブセット双方で成立しました。 本論文からは、感情分布を予測するタスクにおけるMLLMの能力マップと、「強度推定が主要な残存課題であり、かつ微調整で解消可能な本質的でない限界である」という定量的示唆を得ることができます。 ※ポスター発表では最新の実験・分析結果を追加したため、MIRUの予稿とは一部内容が異なっています。 [IS2-053] FashionOps-Bench: ファッションEC業務における視覚言語モデル評価ベンチマークの構築 サイ・タウンカン(ZOZO研究所), 広渡朱莉, 伊澤遼平, 大川倫明, 桐島雅也, 椎橋怜史, 山﨑朋哉, 大島尚起, 石原百峰, 仲井誠明, 桜井詩音, 清水悠揮(ZOZO), 清水良太郎(ZOZO研究所) 視覚言語モデル(VLM)をファッションEC業務へ適用する際、汎用ベンチマークでは細粒度なファッション属性や業務直結の情報抽出を評価できないという課題があります。先行研究はフロントオフィス系2系統5タスクのベンチマークを提案しましたが、納品書などのバックオフィス業務が対象外であり、選別型・細粒度型タスクも欠けていました。 そこで本研究では、ベンチマークを3系統9タスクへ拡張したFashionOps-Benchを構築します。全身コーディネート画像・アイテム単体画像に加えてバックオフィス画像の系統を新設し、バーチャル試着品質チェック・サムネイル適正判定・アイテム自動タグ付け・納品書OCRの4タスクを新規追加しました。これにより、二値選別・構造化抽出・細粒度マルチラベル生成・生成画像の品質判定という多様な出力形式を網羅しています。評価は先行研究のマルチプロンプト評価枠組みを継承し、GPT-5系・Gemini 3.x系・Claude 4.x系の最新商用9モデルを同一条件で比較しました。 実験の結果、次の点を確認しました。第1に、最適モデルはタスク依存で、シーズン判定でgpt-5.4-mini、自動タグ付けでgemini-3.1-flash-liteなど、エントリーモデルがフラッグシップを上回る例が複数ありました。第2に、納品書OCRは全モデルでF1が0.5未満にとどまり、素材判定(最高0.285)とともに高難度タスクであることが分かりました。第3に、誤り傾向は主に実行モデルに固有で、プロンプト変更では動きにくく、自己最適化プロンプトの平均効果もほぼゼロでした。また提案プロンプトの他モデルへの転用効果は提案元に依存することも確認されました。 本研究からは、フロント・バックオフィス業務を横断するVLMの業務適性マップと、「プロンプト最適化よりモデル選定が支配的」という実運用への定量的示唆を得ることができます。 [IS2-071] コーディネート推薦モデルのための集合関数の事前学習法 堀田南(早大), 清水良太郎(ZOZO研究所, 早大), 平川優伎(ZOZO研究所, 慶大), 後藤正幸(早大) コーディネート推薦は、手持ちアイテムと候補アイテムの相性を推定する集合マッチング問題です。この問題を解くためには、学習に用いるための相性の良い商品画像集合を収集する必要がありますが、この収集は大規模かつ高コストという課題があります。 そこで本研究では、収集が容易な全身画像を活用した2段階学習法を提案します。事前学習では、まずは全身画像からキャプショニングモデルで各着用アイテムを言語記述として抽出します。そして、言語・画像で整合した表現空間を持つSigLIP2のテキスト特徴上でSet Transformerの集合関数をK-Pair-Set損失により学習します。事後学習では、少量の商品画像集合を用いて、画像特徴をテキスト特徴空間へ写像するアダプターを学習し、実コーディネートと置換負例の二値分類に適応させます。Garments2Lookデータセットで、入力形式・エンコーダ更新範囲・アダプター有無を組み合わせた7手法を比較しました。 実験の結果、few-shot設定では視覚情報を直接使うImage事前学習(upper bound)が最高精度を示しました。一方で、提案手法(Adapter)や固定テキスト特徴による事前学習も、事前学習なしのBaselineを明確に上回りました。逆に、テキストエンコーダを直接更新する手法は学習が不安定で、有効ではありませんでした。また、下流データが増えるとテキスト系手法が伸び、クロスドメインのrandom評価ではImageを上回りました。ただし、アダプターの改善効果は限定的で、カテゴリを揃えた難しい負例の設定では課題が残りました。 本研究からは、高コストな商品画像集合に依存せず、言語情報を介してコーディネートの組み合わせ知識を事前学習し画像推論へ転移するという設計の考え方と、その有効性・限界の定量的知見を得ることができます。 [IS2-077] 生成画像編集モデルによる服装の似合い度編集の人手評価に関する予備的検討 秦淇策(早大), 清水良太郎(ZOZO研究所, 早大), 平川優伎(ZOZO研究所, 慶應大), 陳天偉(ZOZO研究所), シモセラ・エドガー(早大) テキスト指示による画像編集モデルは、「より似合う服装」への編集が可能になってきていますが、編集後に似合い度が向上したかを自動で評価することは困難です。汎用編集モデルは、画質向上やしわの除去など、似合い度以外の要素も変化させます。そのため、評価モデルのスコア上昇が人間の「似合う」という評価と一致するとは限りません。 そこで本研究では、似合い度評価モデル(SigLIPベースの画像回帰モデル、専門家のペア比較に基づく約4万枚の似合い度スコアで学習)による自動評価と人手評価の一致度を検証します。10枚の着用画像に対し、GPT-image-2・Nano Banana 2・FLUX.2の3モデルで、アイテム変更の有無×似合う/似合わない方向の4条件、計120枚の編集画像を生成しました。12名の被験者が元画像基準で5段階の相対評価を実施し、計1,440件の評価と編集前後のモデルスコア差分との相関を分析しました。 実験の結果、全体では中程度の正の相関(Pearson r=0.403、Spearman ρ=0.375)が見られ、設定した編集方向は概ね人手評価に反映されていました。ただし、相関はモデル依存で、GPT-image-2(r=0.515)とNano Banana 2(r=0.561)は比較的高い一方、FLUX.2はr=0.147と弱い相関となりました。このように、似合わない方向の編集でも評価モデル差分が正になるなど、指示方向に関係なく画像全体の見栄えを改善する傾向が示唆されました。 本研究からは、似合い度評価モデルは生成画像の事前スクリーニングや傾向把握には有用である一方、人手評価を完全には代替できず、編集モデルごとの検証が必要という知見を得ることができます。 [IS2-080] 効率的マルチプロンプトVLM評価はいつ必要か:フロンティアモデルにおけるプロンプト感度の減衰 清水良太郎, サイ・タウンカン, 川島貴大, 北岸毅一 (ZOZO研究所) 複数プロンプトでのVLM性能評価は計算・API費用の面で高コストであり、PromptEvalなどの効率化手法が提案されてきました。しかしこれらはモデルが一定以上のプロンプト感度を持つことを暗黙に仮定しており、最新商用モデルの低感度化でその前提が崩れつつあります。 そこで本研究では、まず理論解析を実施しました。その結果、プロンプト感度(プロンプト間の性能分散)が小さいほど、プロンプト選択メカニズムの違いが平均の性能推定に与える影響も、感度の平方根オーダーで小さくなることを示しました。さらに、感度を低コストで同時に推定する枠組みを提案しました。標準プロンプト列と自己提案プロンプトの対角セルを必ず観測し、残り予算を一様ランダム観測に充て、指標ごとに異なる推定器(平均性能は直接平均、ばらつきは低ランク行列補完)で復元します。加えて、自己提案プロンプトが他モデル提案プロンプトをどれだけ上回るかを示す「自己提案バイアス」(モデルが自ら生成したプロンプトを過大評価する傾向)を感度の代理指標として導入しました。 提案法の有効性を確かめるために、16のVLM×ファッション系の5タスクで実験しました。その結果、効率化手法の優位性はモデルのプロンプト感度Sと強く相関し、低感度の最新商用モデルでは一様サンプリングを超える効率化の恩恵がほぼ失われることを実証しました。提案法は高感度群において、高精度で推定できました。また、自己提案バイアスは感度と正の相関を示し、高感度群と低感度群を概ね弁別できた一方、(プロンプト間性能の平均とばらつきに基づく)SN比は行列補完による推定に劣りました。感度推定のためのより良い指標については、今後の課題となります。 本研究からは、評価を効率化する手法の導入は「常に必要」ではなく、少数プロンプトで感度をパイロット測定してから適用可否を判断すべきという実務指針を得ることができます。 気になった研究発表 続いて、本会議を聴講していたZOZO・ZOZO NEXTメンバーが気になった研究発表をご紹介します。 [IS1-105] Eコマース類似画像検索に向けたネイティブアスペクト比対応画像特徴モデルの構築 土井賢治, 山下郁矢, 西村修平(LINEヤフー) Eコマースの画像検索は、ユーザーが撮った1枚の写真をクエリに、膨大な商品データベースから同一・類似商品を探し出す技術です。全商品画像を画像エンコーダでベクトル化して索引を構築し、クエリ画像も同じエンコーダでベクトル化します。その後、コサイン類似度に基づいて上位候補を返します。そのため、検索品質はエンコーダが生成する特徴表現の識別性と汎化性に左右されます。ここで問題となるのが、商品画像は縦長・横長・正方形とアスペクト比が大きくばらつく点です。多くのVision Transformer(ViT)は、正方形の固定解像度を前提としています。そのため、センタークロップや正方形パディングで入力を揃えると、対象物体の見切れや背景の増加が生じ、同一インスタンスを見分けるのに欠かせない細部の情報が失われかねません。 本研究では、大規模な視覚言語モデル「SigLIP2-NaFlex」を、商品インスタンス検索へ適応させる手法が提案されています。SigLIP2は、Sigmoid Lossによる視覚・言語の事前学習で強い表現を獲得したモデルです。そして、そのNaFlex版は画像を正方形に押し込めず、画像ごとに異なる縦横パッチ数(最大パッチ数Mの範囲内)を扱えます。位置埋め込みをアスペクト比に合わせて補間し、トークン数がMに満たなければパディングとattention maskでバッチ化するため、縦長・横長の画像でも形状と細部を残せます。著者らはこの基盤モデルを土台に、3つの工夫を組み合わせています。1つ目は、先述したように基盤モデルの特徴であるネイティブアスペクト比入力です。2つ目は学習設計で、クラス内凝集とクラス間分離を高めるArcFace型のmargin-softmaxを主損失に、特徴の過度な集中を抑えるKoLeo正則化を併用します。3つ目が「2段階fine-tuning」です。はじめに、neck/headやpooling head、position embedding、最終Transformer層など一部だけを学習します(Stage 1)。その後、モデル全体を小さな学習率で緩やかに調整します(Stage 2)。 同一物体インスタンスの検索能力を測る大規模評価セット「ILIAS」を用いて実験した結果、モデル全体を一気にfine-tuningした場合のmAP@20は0.3837となりました。一方、提案手法は社内評価をほぼ維持したまま、mAPを0.4122へ改善したと報告されています。特に興味深いのは学習対象レイヤのアブレーションです。backboneを完全にfreezeしてneck/headだけを学習するとタスク適応が不十分になる一方、patch embeddingまで学習対象に含めると社内評価・ILIASの双方で悪化しました。事前学習で得た汎用的な低レベル表現を保ちつつ、backbone headやposition embedding、最終Transformer 1層程度から段階的に更新する方針が有効だと示唆されています。 本研究により、基盤モデルをそのまま特徴抽出器として用いるだけでは、商品インスタンス検索には不十分であることがわかりました。入力処理・学習データ・fine-tuning対象を一体として設計することが検索品質を左右する、という知見を示しています。本研究の成果の一部は、商用利用が可能なApache-2.0ライセンスで公開モデルとして提供されており、商品検索だけでなく画像の汎用的な特徴抽出器として幅広く活用できます。 [OS1E-04] Quantifying Style Specificity of Font Impressions via Hyperbolic Co-Embedding Yugo Kubota, Kaito Shiku, Seiichi Uchida (Kyushu Univ.) フォントは「elegant」「cute」といった多様な印象を与えますが、印象語が許容するフォントスタイルの幅は語によって大きく異なります。例えば「elegant」は幅広いスタイルのフォントに当てはまる一方、「skinny」が指すスタイルはかなり限定的です。本研究では、印象語がフォントスタイルをどれだけ強く制約するかを「スタイル特異性(style specificity)」と定義し、これを定量化する手法を提案しています。 提案手法では、フォントと印象タグ集合を共有の双曲空間に共埋め込みします。双曲空間は原点から離れるほど体積が指数的に増大する性質を持ち、一般概念と具体概念の階層構造の表現に適しています。対照学習に加えて(i)印象がそれに適合するフォントを包含する、(ii)特異性の低い印象がより高い印象を包含する、という2つの包含関係をエンタイルメント損失として学習します。これにより、多様なスタイルと互換性のある印象ほど原点近くに配置され、原点からの距離がそのままスタイル特異性の指標として機能します。 MyFontsデータセットでの実験では、印象ベースのフォント検索において既存手法を多くの指標で上回り、特にタグ数の少ないクエリでの改善が顕著でした。タグ単位の分析も興味深く、原点付近には「retro」「elegant」のような形容詞的なタグが、遠方には「skinny」「typewriter」のような形状指向のタグが分布していました。一方、「heavy」のように幾何的な語でも特異性が低い例もあり、スタイル特異性は表面的な語義だけでは決まらないことが示されています。 この研究に興味を持ったのは、ZOZOで取り組んでいる、コーディネート画像から「クール」「親しみやすい」といった印象を予測するプロジェクトとの親和性を感じたためです。ファッションの印象も、幅広いコーディネートに当てはまるものからスタイルを強く限定するものまで制約の強さが異なるはずです。これを埋め込み空間の幾何的性質として定量化できれば、印象定義の分析や、印象を用いた検索・推薦における多様性の制御に応用できる可能性があると感じました。 [OS2D-02] HyDE Vector Mix: クエリと仮想回答の重み付き混合による高精度な密ベクトル検索 深田翔(東大), 欅惇志(一橋大), 松井勇佑(東大) テキストを用いた文書検索のタスクでは、検索クエリと文書をそれぞれ密なベクトルとして表現し、ベクトル空間上で類似度が高い文書を抽出する、いわゆるベクトル検索の手法が人気となっています。しかし、クエリと文書ではテキストの長さや内容が大きく異なるため、両者の類似度を正確に捉えることが難しいという課題があります。 本研究は、まず検索クエリから「どのような文書が回答となり得るか」をLLMで予測し、生成された仮想回答のベクトル表現と元のクエリのベクトル表現を重み付きで足し合わせて、クエリを表現します。これにより、仮想回答とクエリの両方を考慮した検索が可能になり、既存手法を大きく上回る検索精度を達成しました。 文書検索に仮想回答を用いるアプローチ自体はこれまでも注目されてきましたが、本研究ではクエリと仮想回答の両方のベクトル表現を組み合わせることを新たに提案しました。そして、提案手法はシンプルな手法ながらTREC 2025 RAG Trackという国際的なワークショップで12チーム中1位の検索精度を達成したという点に興味を抱きました。ZOZOでも、ZOZOTOWNをはじめとする各種サービスの検索精度を改善するための取り組みが日々行われているため、とても参考になりました。 [OS3B-03] 数式駆動教師付き距離学習 大竹ひな, 荒川深映, 田中啓太郎(早大), 福原吉博(産総研, 早大), 片岡裕雄(産総研, オックスフォード大), 森島繁生(早大) 画像認識モデルの事前学習には、ImageNetのような大規模な実画像データセットが広く利用されています。しかし、データ収集やアノテーションには大きなコストがかかり、プライバシーや社会的バイアスの問題もあります。そこで、数式から生成した画像だけを使ってモデルを学習する「数式駆動型教師あり学習 (FDSL)」が提案されています。FDSLは、画像生成に使ったパラメータを離散的なクラスラベルとして扱い、画像分類タスクとして事前学習します。一方、生成パラメータは本来連続的です。そのため、見た目がよく似た画像でも別クラスとして区別され、モデルが画像全体の形状ではなく細かなテクスチャなどに依存する場合があります。 本研究では、この問題に対して「数式駆動教師付き距離学習 (FDSML)」を提案しています。画像生成パラメータ間の距離を教師信号として利用し、パラメータが近い画像は特徴空間でも近く、遠い画像は離れるように学習します。言い換えれば、画像同士の「関係性」を理解するアプローチです。具体的には、アンカー画像と2枚の候補画像を選び、生成パラメータの距離に基づいてポジティブとネガティブを決定する「Parameter-Aware Triplet Loss」を導入しています。さらに、距離学習の効果を高めるために「FineFractalDB」を新たに構築しています。従来のFDSLの学習に用いられるFractalDBで見られた、反転しただけの類似画像や形状が崩れた画像を減らし、1000カテゴリ・100万枚からなる高密度で多様なデータセットを実現しました。 実験では、画像分類の性能を維持しながら、画像検索の性能が大きく向上しました。Stanford Online ProductsではRecall@1が従来手法の65.6%から74.0%へ、Stanford Carsでは56.2%から78.4%へ改善しています。加えて、画像のぼけや天候変化、デジタル劣化などに対する頑健性も向上しました。 本研究は、実画像を用いずMetric Learningに適したEmbedding表現を事前学習できる可能性を示しています。ZOZOTOWNでも 画像検索機能にMetric Learningを利用 しており、Embeddingモデルの事前学習や、構造変化に頑健な表現を獲得するために応用できそうな研究だと感じました。 [OS2E-10] CIRCLED: 一貫した対話と複数ドメインを備えたマルチターンCIRデータセット 武田朋久(東大), Yu-Chieh Lin(キオクシア), 野澤優治(キオクシア), Youyang Ng(キオクシア), 鳥井修(キオクシア), 松井勇佑(東大) CIR(Composed Image Retrieval)は、参照画像と修正テキスト(例:「これをもっとゆったりした赤いドレスに」)を組み合わせてクエリとする画像検索タスクです。当初は、キーワード検索より自然な「対話型ショッピングアシスタント」というユースケースが想定されていました。しかし、実際のユーザーは1回の検索で目的の商品にたどり着くとは限らず、検索結果を見ながら要件をテキストで追加していきます。そこで近年では、過去の画像・テキストペア履歴 {(I1,T1), …, (IL,TL)} 全体を使って検索するマルチターンCIRが提案されています。 本研究は、現時点で唯一公開されているマルチターンCIRのデータセットMulti-turn FashionIQが、シングルターンのクエリを単純に連結した構成であり、対話が正解へ段階的に近づく保証がないことを指摘しています。そして、正解の検索順位がターンごとに単調に改善することと、各修正テキストが過去のテキストと重複せず新情報を追加することを保証したデータセットを提案しています。提案データセットはFashionIQ・CIRR・CIRCOの3つのシングルターンCIRデータセットを拡張したものです。その構成は、ファッション+一般ドメインで22,608セッション・202,845画像(ターン長2〜6)のデータセット(CIRCLED)となっています。 LLM-as-a-Judgeでは5つの観点(自然さ・一貫性・目標進捗・冗長性の少なさ・総合)で評価しており、自然さを除く4つの観点では既存データセットを含む比較対象を上回っています。一方で、自然さのみ提案手法の品質フィルタリング後にわずかに低下することが報告されており、これはフィルタリングによる平均ターン数の減少に起因するとされています。なおデータセット生成時はGPT-4o-miniを使い、品質評価時はGPT-5-miniを使用することで自己選好バイアスを回避しています。また本データセットに対し既存手法を適用し、画像とテキストの両方を活用する手法が優位なこと、ターンを重ねるほど精度が向上すること(一貫性設計が機能していること)を確認しています。 ZOZOにおいても、より直感的に商品やコーディネートを探せる機能によってユーザ体験の向上を見込めるため、本データセットを用いた、より早く正解に辿り着くマルチターンCIRの手法の提案が期待されます。 [OS1E-01] What-Where Transformer: 物体の意味と位置情報を分離し並行処理する画像バックボーン 吉橋亮太, 加太将弘(科学大), 池畑諭(NII, デンソーアイティーラボラトリ), 川上玲(科学大), 佐藤育郎(科学大, デンソーアイティーラボラトリ) 物体発見(Object Discovery)や物体検出(Object Detection)、領域分割(Segmentation)タスクでは、画像中の「どこに何が写っているか」を扱います。そのため、「何が写っているか」を判断する画像分類よりもモデル構成が複雑になります。本研究では、その原因の1つとして、従来のViTが画像中の「何」に関する意味情報を中心に表現し、「どこ」に関する位置情報を内部に埋没させている点に着目しています。そして、物体の意味と位置を明示的に分離して扱う「What-Where Transformer (WWT)」を提案します。 WWTでは、画像パッチ由来のトークン列とは別に、想定する物体の最大数だけ「スロット」と呼ぶベクトルを用意します。そして、物体の意味を表す「what」をスロット、位置を表す「where」をスロットごとの注意マップ(ソフトマスク)として分離し、両者をペアで並行して処理します。一般的なViTでは注意マップはトークン更新の途中で使われるだけですが、WWTでは位置情報そのものをネットワーク内で保持し、最終出力として利用できるようにしています。この設計により、WWTは意味情報と位置情報の両方をバックボーンから直接取り出せます。そのため、簡単な後処理や比較的シンプルなヘッドを用いることで、画像分類だけでなく物体発見、物体検出、領域分割にも利用できます。特に物体発見では、学習済みのソフトマスクを閾値処理するだけで物体領域を取り出せるため、タスクごとに大規模なデコーダを用意する必要がありません。 実験では、ImageNet-1kの分類精度を従来のViTとおおむね同程度に維持(Smallではやや劣る性能)しながら、注意マップの説明性や領域分割の性能を向上させることがわかりました。ImageNet-Sの弱教師あり領域分割では、DeiT-Tinyの8.8%、Attention Rolloutを用いた場合の35.9%に対し、WWT-TinyはmIoU 49.1%を記録しています。また、ゼロショット物体発見でも、VOCでCorLoc 41.4%、COCOで30.2%を達成し、教師あり学習されたDeiTを一部上回っています。 本研究は、画像から得られる特徴を単一のEmbeddingとして表現するだけでなく、「何」と「どこ」を別々の表現として保持することで、1つのバックボーンをさまざまな視覚タスクに転用しやすくする研究です。シンプルな発想ながら、画像分類、物体発見、物体検出、領域分割といった複数のタスクで有効性を示しています。特に、分類用に学習したモデルから追加学習なしで物体位置を取り出せる点は興味深いです。商品画像に含まれる複数アイテムの発見や、説明可能性を持った画像認識モデルなどへの応用可能性を感じました。 まとめ 本記事では、MIRU2026の参加レポートをお伝えしました。今年もMIRUに参加することで、業界の最先端を俯瞰し、多くの新たな知見を得ることができました。また、発表を通じてフィードバックを得たり、スポンサーブースにて弊社の取り組みをご紹介できたりしたことは大変貴重な機会でした。変化の激しい業界ですので、今回得られた最新の知見を今後の研究開発へ積極的に取り入れ、さらなる成果を上げるために、そして業界の発展に貢献できるよう、今後も邁進していきます。 最後に ZOZOでは、一緒にサービスを作り上げてくれる方を募集中です。ご興味のある方は、以下のリンクからぜひご応募ください。 corp.zozo.com zozonext.com hrmos.co