はじめに 近年、生成AIやLLM（大規模言語モデル）の急速な普及を経て、テクノロジーの潮流は単なる「テキスト対話」から、自律的に判断して行動する「Agentic AI（エージェント型AI）」や、リアルな物理環境と連動する「Physical AI（物理AI）」へと決定的な進化を遂げています。 NVIDIAと聞くと「高性能なGPUを供給するハードウェアベンダー」というイメージを持ちがちです。 しかし、NVIDIAの研修（正確には研修を受けるための事前課題）を受けてみると、その真価はGPU単体だけではなく、GPUを取り巻くメモリやネットワークを含むハードウェア、GPUを最も有効に利用できる

こんにちは、Data & Analysis部で機械学習エンジニアをしている由川です。 キャディでは、2026年8月3日〜8月6日に出島メッセ長崎で開催された MIRU 2026 （第29回 画像の認識・理解シンポジウム)にてゴールドスポンサーとして協賛し、ポスター発表も行いました。 本記事では、出展内容と気になった論文発表のレポートをします。 MIRUとは 企業ブース ポスター発表 気になった発表 Cello: 視覚接地した文書特化型視覚言語基盤モデルの構築 局所的な幾何特徴の多様性に着目した数式生成点群データセットの構築および事前学習効果の検証 出力分布に基づくMLLM推論：Visual Question AnsweringのためのMLLMにおける視覚情報と内部知識の統合改善 まとめ MIRUとは 画像の認識・理解シンポジウム（MIRU）とは、画像の認識と理解技術に関する国内最大規模の会議で、参加者数は1500名ほど、発表件数は932件でした。 参加した中での個人的な感想ではありますが、発表内容には以下のトレンドがあるなと感じました。 既存のVLM / MLLMを活用して、特定ドメイン（医療、自動運転など）の精度改善を行う研究 3D再構築や人物姿勢推定など3Dに焦点を当てた研究があり、その中でも3DデータとしてGaussian Splattingを利用した研究が多い ベンチマークの構築、学習に有効な2D or 3Dデータセットの自動生成などデータセット構築系の研究 MIRUの会場 企業ブース TechBlog 実データx経営直下のスピードで価値を生む製造業AI研究開発 - リサーチエンジニア募集 にある通り、キャディではリサーチ組織の立ち上げを行っています。この組織を中心に取り組んでいるテーマに対して以下のようなことをご紹介しました。 機械学習技術を適用するにあたっての製造業ドメインの課題 製造業では2D、3D、構造化データ、文書というマルチモーダルなデータを関連付けて処理する必要がある 図面とCADデータの認識が求められるが、現在の汎用VLM / MLLMでは空間や幾何を認識するタスクが難しい 研究で利用されるようなオープンデータとの現場で利用されるデータにはギャップがある 課題解決のために製造業向けの基盤モデルを開発 基盤モデルを下流タスクに活用 タスク例：設計資産全体を横断して検索するための2D図面や3DCADモデルなどの埋め込み空間の統合や、3D CAD データ内の加工に必要な特徴の認識など また「製造業AIデータプラットフォームCADDi」のデモを通して実際に製造業の現場でどのように利用しているか示すことで、現状できていること、今後取り組んでいきたいことをより実感を持っていただくことができました。 ブースに立ち寄ってくださった皆様、ありがとうございました！ 企業ブースの様子 ポスター発表 キャディとしては初めて、学会でのポスター発表を行いました。 内容はTech Blog 製造業特化LLMを開発するための評価ベンチマーク や 製造業ドメインにおける VLMの現在地 （SSII 2026、画像センシングシンポジウム）にてご紹介した製造業向けのVLM評価ベンチマークManuDraw-Benchについてのもので、以下の成果を発表しました。 製造業に関する試験問題を解かせたところ、モデルによっては90%を超える正解率を出し、試験の合格ラインを超える しかし、製造業において重要な以下タスクは低スコア 空間認識タスク：2D図面から3D CADへの形状復元（製品設計のために図面から立体の形状を想起する工程を再現） 視覚認識タスク：図面内の記号検出（製造方法や原価を見積もるために、図面から特徴的な記号を見つける工程を再現） 以上より、製造業に関する意味的な内容は理解できている。しかし、空間認識タスクや視覚認識タスクの性能は低いので、製造業領域においてVLMはまだ実運用に至らない。 発表は多くの方が立ち寄ってくださり、評価データの集め方、評価方法を中心に様々な議論ができました。 また、このベンチマークは公開されているのか、公開する予定はあるのか？という旨のご質問を数多くいただきました。 現状の公開は難しいですが、業界全体で製造業ドメインにおいてVLMやMLLMを適用できるようにするにはどうすればよいのか模索できるようにするために、対応していきたいと思っています。 今回のポスター発表を通して非常に関心を持っていただけたことを実感しました。改めてお話いただいた皆様ありがとうございました！ ポスター発表の様子 気になった発表 会期中で聴講したり、論文を読んだりしたセッションの中で面白い、参考になったものをピックアップして紹介します。 Cello: 視覚接地した文書特化型視覚言語基盤モデルの構築 内田奏, 竹長慎太朗, Mengsay Loem, 山内敏嗣, 石井良（Sansan株式会社） この研究では、文書画像からの情報抽出において抽出したテキストがどこにあるのかの判断根拠の提示やOCRと連携して細字を認識することを目的として、テキストと位置情報（Bounding Box）を同時に出力する文書特化型VLM「Cello」を提案しています。 Celloでは名刺・請求書・契約書の文書画像と対応するテキストを事前学習したモデルに対して、テキストと対応するBounding Boxを表す座標を追加で事前学習しています。 Bounding Boxを表す座標は（<x_0>、<y_0>）のような特殊トークンで表現し、このトークンにTransformer系で用いられる位置埋め込み手法を適用し学習時の初期埋め込みをする、といった工夫を行うことでテキストの位置関係を効率的に学習しています。 レシート画像を使った公開データセットから情報抽出を行うタスクで実験したところ、既存手法と比べて特に位置検出精度が改善したことが示されました。また、Celloで検出したBounding Boxをもとにテキスト領域を抽出しOCRエンジンで読み取りを行うと、課題としていた細字の認識も改善することも示しています。 ポスター発表では、VLMは記号検出（=Bounding Boxを出力するタスク）が苦手だという旨を紹介しましたが、上記のような学習を行うと検出精度が改善しそうだなと思い、参考になりました。 局所的な幾何特徴の多様性に着目した数式生成点群データセットの構築および事前学習効果の検証 金子知紘, 大塚大地, 山田亮佑, 鳥見晃平, 柳凜太郎, 片岡裕雄（産業技術総合研究所）, 中村明生（東京電機大学） この研究では、3D点群モデルの事前学習に有効な幾何的要素を明らかにするため、数式ドリブン教師あり学習に基づき多様な局所幾何特徴を再現するデータセットSinusoidal Surface Point Cloud（SSPC）を提案しています。 また、3Dデータの複雑さを定量化するため、全体の複雑さを表す法線多様性と、局所的な形状（凹凸やエッジなど）の複雑さを表す曲率多様性という2つの指標を定義しています。これらの指標に基づいて、SSPCは、既存のデータセットと比べて大域的にも局所的にも多様な形状を表現できることを示しています。 SSPCにより生成された点群データを事前学習した上で、下流タスク（3Dセマンティックセグメンテーション）用にファインチューニングして評価したところ、下流タスクの学習データがわずか1%しかない厳しい状況でも、従来のデータセットで事前学習したモデルより高い精度を出せることを実証しています。 キャディでも3Dデータを用いた検証を進めていますが、データ不足に悩みやすく学習効果の高いデータセットを作るのも難しいため、このような数式に基づくデータ生成のアプローチは参考になりました。 出力分布に基づくMLLM推論：Visual Question AnsweringのためのMLLMにおける視覚情報と内部知識の統合改善 佐藤雅也, 前田圭介, 藤後廉, 小川貴弘, 長谷山美紀（北海道大学） この研究では、MLLMが入力画像に対するドメイン知識を必要とするKnowledge-Based Visual Question Answering（以降、KB-VQA。例：ゴルフをしている人の画像 + このスポーツの発祥国はどこですか？という質問に対して回答するタスク）に対しては十分な性能に達していないという問題が起こる一因を確認したうえで、解決策を提案しているものです。 著者らはKB-VQAにおいて、「テキスト先行決め打ち」という現象が起こることを発見しました。これは、視覚情報が寄与する前の層においてテキストトークンの出力確率が高くなった結果、モデルが視覚情報と自身の内部知識を統合する前に、テキスト情報から回答するというものです。 テキスト先行決め打ちが起こることがKB-VQAで性能が低くなる要因の一つだと仮定し、回答に対する画像トークンの層別寄与度を定量化する指標 layer sensitivity を提案しました。そのうえで、推論時にlayer sensitivityに基づいて視覚情報が最も使われる層を特定し、この層の前にトークンの出力確率が上がっていればその確率を下げるようなノイズを加えて行うことでテキスト先行決め打ちを抑制できる（≒KB-VQAでの正解率が既存手法と比べて改善する）ことを確認しました。 他のモデルやデータセットでも検証することでテキスト先行決め打ちと提案手法の一般性を確認するのが課題だと言及されていましたが、Tech Blog 製造業×AIの最前線：キャディが挑む研究課題と、CV・AIの「いま」が交わる場所 で言及したVLMの言語偏重の要因の一つにあるかもしれない + 解消につながるかもしれない研究だと思い、興味深かったです。 まとめ 本記事では、キャディの研究開発の現状や気になった論文をいくつかご紹介しました。 会期中を通して以下を実感できたので、非常に有意義な時間でした。 画像認識分野のトレンドと、トレンドに対する我々の現在地を知ることができたこと 多くの方と意見交換でき、我々の取り組みに興味と期待を抱いていただけたこと 最後に、キャディのリサーチ組織では2D/3D領域に関するResearch Engineerを募集しています。 そもそも何に取り組んでいる会社なのか、研究開発を通して何を実現したいのかなども含めて、ご興味があればぜひお気軽にご連絡ください。 speakerdeck.com open.talentio.com

こんにちは、データサイエンス部商品データサイエンスブロックの 荒木 です。我々のチームでは、AIやデータサイエンスを活用したプロダクト開発のため、研究開発に取り組んでいます。今回は、ZOZO NEXTのメンバーとともに2026年8月3日（月）から8月6日（木）にかけて出島メッセ長崎で開催された画像の認識・理解シンポジウム (MIRU) 2026に参加しました。本記事では、MIRU2026でのZOZO・ZOZO NEXTメンバーの取り組み、MIRU2026の様子や参加メンバーの気になった発表を報告します。 本記事は、データサイエンス部商品データサイエンスブロックの西山、同部コーディネートサイエンスブロックの大川、ZOZO研究所の和田、清水、古澤、サイ、平川、川島、武本、陳の協力のもと執筆されました。 目次 目次 MIRU2026 企業展示 全体の動向 昨年の記事との比較 ZOZO・ZOZO Researchメンバーの発表 [OS2D-10] Reference-Free Image Quality Assessment for Virtual Try-On via Human Feedback [IS1-149] MultiEmo-Bench: Multi-label Visual Emotion Analysis for Multi-modal Large Language Models [IS2-053] FashionOps-Bench: ファッションEC業務における視覚言語モデル評価ベンチマークの構築 [IS2-071] コーディネート推薦モデルのための集合関数の事前学習法 [IS2-077] 生成画像編集モデルによる服装の似合い度編集の人手評価に関する予備的検討 [IS2-080] 効率的マルチプロンプトVLM評価はいつ必要か：フロンティアモデルにおけるプロンプト感度の減衰 気になった研究発表 [IS1-105] Eコマース類似画像検索に向けたネイティブアスペクト比対応画像特徴モデルの構築 [OS1E-04] Quantifying Style Specificity of Font Impressions via Hyperbolic Co-Embedding [OS2D-02] HyDE Vector Mix: クエリと仮想回答の重み付き混合による高精度な密ベクトル検索 [OS3B-03] 数式駆動教師付き距離学習 [OS2E-10] CIRCLED: 一貫した対話と複数ドメインを備えたマルチターンCIRデータセット [OS1E-01] What-Where Transformer: 物体の意味と位置情報を分離し並行処理する画像バックボーン まとめ 最後に MIRU2026 MIRUとは、画像処理やその周辺の諸分野のトピックを取り扱う、国内において最大規模のシンポジウムです。毎年、コンピュータビジョンをはじめとしたさまざまな画像系の学術分野についての発表や、それに関する議論が活発に行われています。2026年の今回は、長崎市の出島メッセ長崎において開催されました。 MIRUの慣習として、1日目はチュートリアルセッションや特別講演を実施して、2日目以降で本会議がスタートするようなプログラムとなっていますが、今年は1日目の夜にウェルカムレセプションが開催されました。これは、MIRU史上初のイベントです。かつて、1日目の夜にはコミュニティの若手研究者のためのイベント「若手の会（現：若手プログラム）」が開催されていました。この時間帯に全員参加できるイベントが実施されるようになったことを鑑みると、MIRUおよび国内の研究コミュニティの多様性が広がっていることがうかがえます。 実際に、MIRUの参加者数は増加傾向にあり、今年は1,538名が参加しました。これは、2020年から2024年まで設けられていた遠隔聴講枠の人数を除くと、過去最大の参加者数です。さらに、発表件数も2020年から大きく増え続け、今年は932件の発表がありました。興味深いことに、参加者数は昨年から大きく増えたわけではありません（1,479名→1,538名）が、発表件数は約28.4％増（726件→932件）となっています。このこともあってか、今回は招待講演およびオーラルセッションが2会場でのパラレル実施となりました。聴講者として参加するだけでなく、実際に論文を投稿してコミュニティに貢献する方も増えていることが読み取れます。 そして、今年もZOZO NEXTはMIRU2026にゴールドスポンサーとして協賛いたしました。企業展示ブースの様子は次章にて紹介します。 企業展示 企業展示ブースでは、ZOZO NEXTの取り組みをポスター形式でご紹介しました。ZOZOの多角的なファッションサービスと多様なデータ資産に加え、ZOZO Researchが近年発表した論文、そして、機械学習を用いた実サービスへの応用事例についてご説明しました。今年も、多くの方々からご関心をお寄せいただき、お話をさせていただけたことを大変嬉しく感じています。 ブースにお越しいただいた皆様、各種トピックについてディスカッションしていただいた皆様にこの場を借りてお礼申し上げます。誠にありがとうございました。展示していたポスターはこちらです。 全体の動向 年に1回、画像を専門とする国内の研究者が一堂に会する会議、それがMIRUです。その性質上、参加するだけで業界の研究トレンドを横断的に把握できるのもMIRUの良さの1つです。去年のレポートでは、CLIPをはじめとする視覚言語モデル (Vision Language Model; VLM) を下流タスクに活用する研究が数多く見られたことを報告しました。 techblog.zozo.com 今年は、とにかくVLM、そしてマルチモーダル大規模言語モデル (Multimodal Large Language Model; MLLM) に関する研究を頻繁に見聞きしました。口頭発表およびインタラクティブセッションのどちらにおいても、これらを前提に議論が組み立てられている発表が本当に多く、もはや特定の研究トピックというより共通の道具になったという印象です。 その使われ方も、単純にVLM活用とは言えないほどに多様化しています。既存のVLMを特徴抽出器や推論エンジン、あるいはアノテータの代わりとして使う研究がある一方で、VLM自体の追加学習・軽量化・評価など、モデルそのものを対象にした研究が同じくらいの厚みで存在しています。特に目についたのは後者です。ハルシネーションの検出や軽減、出力の不確実性や信頼度の推定、MLLM自身を評価者として用いるMLLM-as-a-Judgeのバイアス分析、そして特定のトピックや領域に合わせた評価ベンチマークの構築といったテーマがありました。道具として定着したからこそ、その課題や限界を調査して解決する動きが出てきたのだと思います。 使われているモデルの顔ぶれが1年で大きく入れ替わっていたことも印象的でした。昨年はCLIPやGPT-4oを比較対象として見かけることが多かったのですが、今年はQwen3-VLやInternVL、GeminiやGPT-5系が並んでいます。視覚特徴の抽出についても、CLIP一択ではなくDINOv2やDINOv3、SigLIPを採用する研究が増えており、バックボーンの進化の凄まじさや選定の重要性についても考えさせられました。 一方で、3D再構成の研究も引き続き盛んに行われています。昨年目立った3D Gaussian Splattingは今年さらに広がり、少数視点からのfeed-forward推定や、反射・照明を扱う拡張など、応用の幅が明確に増えていました。VGGTやDUSt3Rといった3次元の基盤モデルを前提に用いる研究が増えているのも、基盤モデルの多様化が進んだ今年らしい変化です。加えて、ロボティクスやフィジカルAIに関する発表も増えていました。Vision-Language-Action (VLA) モデルやEmbodied AIのベンチマークなど、実世界を「見る」だけでなく「見て動く」ための研究が広がってきていることを肌で感じました。 また、推論コストやレイテンシ、モデルの軽量化、運用中のモデル更新といった、研究成果を運用に乗せるうえで避けては通れない論点を扱う発表も、昨年よりも多くなった印象です。研究と実装の距離がより近づいていることを感じさせます。 昨年の記事との比較 せっかくなので、 昨年の記事に書いた「全体の動向」 が、1年経った今どうなったかを調べてみました。 「CLIPをはじめとするVLMの活用が特に多い」 ：この傾向は続いており、VLM・MLLMに言及する発表がさらに増えました。ただし、CLIPだけでなくDINOv2・DINOv3やSigLIPをベースラインに選ぶ発表がかなり増えました。視覚特徴を抽出する手法の有力な選択肢が複数登場しています。 「自らデータセットを作成、あるいは公開データセットを拡張して応用研究に取り組む」 ：こちらは完全に定着しています。今年も多くの研究がベンチマークやデータセットの構築に言及しています。 「生成モデルの実用性とリスク管理、制御性や安全性」 ：リスクの論点そのものが移動した印象です。著作権や権利保護に触れる発表は（完全に無くなったわけではありませんが）減った一方、モデル出力の安全性や公平性・バイアスを扱う発表は増えました。「生成物の権利をどう守るか」から「モデルの振る舞いをどう検証するか」へ、関心が移ったようなイメージです。 「2024年はNeRF、2025年は3D Gaussian Splatting」 ：このトレンドも継続しています。3D Gaussian Splattingを扱う発表は増えていますが、NeRFは横ばいです。また、1日目のチュートリアルセッションでは、大阪大学の千葉先生が「三次元データ処理の動向」を講演しました。講演では、NeRFから3D Gaussian Splattingへトレンドが移り、現在は2D Gaussianや三角形メッシュなど、3D Gaussian以外のプリミティブへトレンドが移りつつあることが紹介されました。 昨年のレポートには書いていませんでしたが、昨年の時点ではVLMの活用がより深まっていくだろうと感じていました。ですが、実際はその予想を超える勢いで進んでいます。来年はこの「道具としてのVLM」をどう評価し、どう運用に載せるかという話がさらに前面に出てくると予想しています。また、マルチモーダル化やフィジカルAIに関しても、この勢いでどんどん進んでいくと考えています。 ZOZO・ZOZO Researchメンバーの発表 オーラルセッションにて1件、インタラクティブセッション5件の研究を発表しました。各研究の要約は以下の通りです。 [OS2D-10] Reference-Free Image Quality Assessment for Virtual Try-On via Human Feedback Yuki Hirakawa (ZOZO Research, Keio Univ.), Takashi Wada, Ryotaro Shimizu, Takuya Furusawa, Yuki Saito (ZOZO Research), Ryosuke Araki (ZOZO), Tianwei Chen, Fan Mo (ZOZO Research), Yoshimitsu Aoki (Keio Univ.) 本論文では、バーチャル試着（Virtual Try-On：VTON）画像の品質を、参照画像を必要とせず（reference-free）人間の知覚に近い形で自動評価する画質評価モデル「VTON-IQA」と、大規模な品質評価データセット「VTON-QBench」を提案しています。 バーチャル試着の評価指標として従来広く用いられてきたSSIMやLPIPSは、生成画像と正解画像の対応を前提としています。そのため、実際のECサービスのように正解画像が存在しない場面では利用が困難です。一方、FIDやKIDは画像集合における全体の品質を評価する指標であり、個々の試着画像の品質を評価できないという課題があります。さらに、人物のポーズや画像の拡大率が変化すると、人間には自然に見える画像でも低く評価される場合があります。 これに対し、提案手法であるVTON-IQAは、衣服画像、人物画像、生成された試着画像の3枚を入力します。評価するのは、衣服の形状や柄、ロゴなどを再現できているかを示す「衣服の忠実性」と、人物の顔や体型、背景などを保持できているかを示す「人物・背景の保持性」です。モデルにはInterleaved Cross-Attention（ICA）を導入し、試着画像を中心として衣服画像および人物画像との対応関係を効果的に学習する構造を採用しています。また、品質スコアを予測する回帰学習と、2枚の試着画像の優劣を学習するペアワイズ順位学習を組み合わせることで、人間の主観評価に近い品質予測を実現しています。 さらに、学習用データセットとしてVTON-QBenchを構築しています。これは、14種類の代表的なVTONモデルから生成した62,688枚の試着画像に対し、13,838人の評価者による431,800件の品質アノテーションを収集した大規模なVTON品質評価データセットです。実験では、VTON-IQAは人間評価との相関において既存指標を大きく上回る性能を達成し、未知のVTONモデルに対しても高い汎化性能を示しました。 本研究は、正解画像を必要とせず、人間の知覚に基づいて個々のバーチャル試着画像を評価できる新たな評価基盤を提供しており、今後のVTONモデルの開発や品質管理、性能比較への応用が期待されます。 発表資料は以下から閲覧できますので、ご興味のある方はぜひご覧ください。 speakerdeck.com [IS1-149] MultiEmo-Bench: Multi-label Visual Emotion Analysis for Multi-modal Large Language Models Tianwei Chen, Takuya Furusawa, Yuki Hirakawa, Ryotaro Shimizu, Fan Mo, Takashi Wada (ZOZO Research) マルチモーダル大規模言語モデル（MLLM）の感情理解を評価する際、既存ベンチマークでは「どの感情が喚起されるか」「どれが強いか」までしか測れず、視聴者集団における感情分布への適合度は評価できません。先行研究は離散判断・記述評定・強度順位付けの3パラダイムを提案しましたが、順位付け型は各感情の喚起量を問わず上位3感情のみを対象とするため、過剰予測の失敗が露呈しません。感情分布を持つ既存データセットにも、データ規模の小ささ（280〜1,980枚）、アノテーション密度の低さ（1枚あたり7人未満）、支配感情の偏り（59〜75％が同一カテゴリ）という課題があります。 そこで本研究では、EmoSetとFIのテストセットから10,344枚を再アノテーションしたMultiEmo-Benchを構築します。1枚あたり20人（関連研究の中で最多）がMikelsの8感情から複数選択する方式で計236,998票を収集し、感情ごとの周辺支持確率ベクトルを目標値に設定します。画像選定では3モデルに元ラベルの妥当性を判定させ、不一致5,279枚と層化抽出した一致5,065枚を結合します。これにより、最大カテゴリ約20％というバランス、および従来最高の密度を同時に達成しました。品質管理は資格タスク・注意チェック・A/Bテストの3段階で構成されています。これにより、20人のアノテータによる結果は193人による結果とPLCC 0.836で一致しており、新ラベルは元ラベルより58.7％対25.1％で支持されることを確認しています。評価は11指標・2プロトコル（感情ごとに個別質問するask each／8感情を一括質問するask all）の枠組みで実施しました。GPT系・Gemini系・Claude Sonnet 4・Qwen3-VL系の11モデルを同一条件で比較し、アノテータを10対10に分割した際の人間同士の一致度を、参照値として併置しました。 実験の結果、次に挙げる3点を確認しました。第1に、全モデルが系統的に感情を過剰予測し（総質量バイアス+1.08〜+3.09）、ほとんど誰も報告しない感情まで付与する一方、感情を一括で問うプロトコルではこの過剰がほぼ半減しました。第2に、順位一致（SRCC 0.59対人間0.66）は人間水準に近い一方で、総質量MAEは最良0.68対人間0.05と大きく乖離し、順位評価は分布評価の代替にならないことがわかりました。第3に、残るギャップは「認識」でも「順位」でもなく「何人が感じるかの見積もり」に集中しており、この傾向は選定バイアス検証用の一致・不一致サブセット双方で成立しました。 本論文からは、感情分布を予測するタスクにおけるMLLMの能力マップと、「強度推定が主要な残存課題であり、かつ微調整で解消可能な本質的でない限界である」という定量的示唆を得ることができます。 ※ポスター発表では最新の実験・分析結果を追加したため、MIRUの予稿とは一部内容が異なっています。 [IS2-053] FashionOps-Bench: ファッションEC業務における視覚言語モデル評価ベンチマークの構築 サイ・タウンカン（ZOZO研究所）, 広渡朱莉, 伊澤遼平, 大川倫明, 桐島雅也, 椎橋怜史, 山﨑朋哉, 大島尚起, 石原百峰, 仲井誠明, 桜井詩音, 清水悠揮（ZOZO）, 清水良太郎（ZOZO研究所） 視覚言語モデル（VLM）をファッションEC業務へ適用する際、汎用ベンチマークでは細粒度なファッション属性や業務直結の情報抽出を評価できないという課題があります。先行研究はフロントオフィス系2系統5タスクのベンチマークを提案しましたが、納品書などのバックオフィス業務が対象外であり、選別型・細粒度型タスクも欠けていました。 そこで本研究では、ベンチマークを3系統9タスクへ拡張したFashionOps-Benchを構築します。全身コーディネート画像・アイテム単体画像に加えてバックオフィス画像の系統を新設し、バーチャル試着品質チェック・サムネイル適正判定・アイテム自動タグ付け・納品書OCRの4タスクを新規追加しました。これにより、二値選別・構造化抽出・細粒度マルチラベル生成・生成画像の品質判定という多様な出力形式を網羅しています。評価は先行研究のマルチプロンプト評価枠組みを継承し、GPT-5系・Gemini 3.x系・Claude 4.x系の最新商用9モデルを同一条件で比較しました。 実験の結果、次の点を確認しました。第1に、最適モデルはタスク依存で、シーズン判定でgpt-5.4-mini、自動タグ付けでgemini-3.1-flash-liteなど、エントリーモデルがフラッグシップを上回る例が複数ありました。第2に、納品書OCRは全モデルでF1が0.5未満にとどまり、素材判定（最高0.285）とともに高難度タスクであることが分かりました。第3に、誤り傾向は主に実行モデルに固有で、プロンプト変更では動きにくく、自己最適化プロンプトの平均効果もほぼゼロでした。また提案プロンプトの他モデルへの転用効果は提案元に依存することも確認されました。 本研究からは、フロント・バックオフィス業務を横断するVLMの業務適性マップと、「プロンプト最適化よりモデル選定が支配的」という実運用への定量的示唆を得ることができます。 [IS2-071] コーディネート推薦モデルのための集合関数の事前学習法 堀田南（早大）, 清水良太郎（ZOZO研究所, 早大）, 平川優伎（ZOZO研究所, 慶大）, 後藤正幸（早大） コーディネート推薦は、手持ちアイテムと候補アイテムの相性を推定する集合マッチング問題です。この問題を解くためには、学習に用いるための相性の良い商品画像集合を収集する必要がありますが、この収集は大規模かつ高コストという課題があります。 そこで本研究では、収集が容易な全身画像を活用した2段階学習法を提案します。事前学習では、まずは全身画像からキャプショニングモデルで各着用アイテムを言語記述として抽出します。そして、言語・画像で整合した表現空間を持つSigLIP2のテキスト特徴上でSet Transformerの集合関数をK-Pair-Set損失により学習します。事後学習では、少量の商品画像集合を用いて、画像特徴をテキスト特徴空間へ写像するアダプターを学習し、実コーディネートと置換負例の二値分類に適応させます。Garments2Lookデータセットで、入力形式・エンコーダ更新範囲・アダプター有無を組み合わせた7手法を比較しました。 実験の結果、few-shot設定では視覚情報を直接使うImage事前学習（upper bound）が最高精度を示しました。一方で、提案手法（Adapter）や固定テキスト特徴による事前学習も、事前学習なしのBaselineを明確に上回りました。逆に、テキストエンコーダを直接更新する手法は学習が不安定で、有効ではありませんでした。また、下流データが増えるとテキスト系手法が伸び、クロスドメインのrandom評価ではImageを上回りました。ただし、アダプターの改善効果は限定的で、カテゴリを揃えた難しい負例の設定では課題が残りました。 本研究からは、高コストな商品画像集合に依存せず、言語情報を介してコーディネートの組み合わせ知識を事前学習し画像推論へ転移するという設計の考え方と、その有効性・限界の定量的知見を得ることができます。 [IS2-077] 生成画像編集モデルによる服装の似合い度編集の人手評価に関する予備的検討 秦淇策（早大）, 清水良太郎（ZOZO研究所, 早大）, 平川優伎（ZOZO研究所, 慶應大）, 陳天偉（ZOZO研究所）, シモセラ・エドガー（早大） テキスト指示による画像編集モデルは、「より似合う服装」への編集が可能になってきていますが、編集後に似合い度が向上したかを自動で評価することは困難です。汎用編集モデルは、画質向上やしわの除去など、似合い度以外の要素も変化させます。そのため、評価モデルのスコア上昇が人間の「似合う」という評価と一致するとは限りません。 そこで本研究では、似合い度評価モデル（SigLIPベースの画像回帰モデル、専門家のペア比較に基づく約4万枚の似合い度スコアで学習）による自動評価と人手評価の一致度を検証します。10枚の着用画像に対し、GPT-image-2・Nano Banana 2・FLUX.2の3モデルで、アイテム変更の有無×似合う/似合わない方向の4条件、計120枚の編集画像を生成しました。12名の被験者が元画像基準で5段階の相対評価を実施し、計1,440件の評価と編集前後のモデルスコア差分との相関を分析しました。 実験の結果、全体では中程度の正の相関（Pearson r=0.403、Spearman ρ=0.375）が見られ、設定した編集方向は概ね人手評価に反映されていました。ただし、相関はモデル依存で、GPT-image-2（r=0.515）とNano Banana 2（r=0.561）は比較的高い一方、FLUX.2はr=0.147と弱い相関となりました。このように、似合わない方向の編集でも評価モデル差分が正になるなど、指示方向に関係なく画像全体の見栄えを改善する傾向が示唆されました。 本研究からは、似合い度評価モデルは生成画像の事前スクリーニングや傾向把握には有用である一方、人手評価を完全には代替できず、編集モデルごとの検証が必要という知見を得ることができます。 [IS2-080] 効率的マルチプロンプトVLM評価はいつ必要か：フロンティアモデルにおけるプロンプト感度の減衰 清水良太郎, サイ・タウンカン, 川島貴大, 北岸毅一 (ZOZO研究所) 複数プロンプトでのVLM性能評価は計算・API費用の面で高コストであり、PromptEvalなどの効率化手法が提案されてきました。しかしこれらはモデルが一定以上のプロンプト感度を持つことを暗黙に仮定しており、最新商用モデルの低感度化でその前提が崩れつつあります。 そこで本研究では、まず理論解析を実施しました。その結果、プロンプト感度（プロンプト間の性能分散）が小さいほど、プロンプト選択メカニズムの違いが平均の性能推定に与える影響も、感度の平方根オーダーで小さくなることを示しました。さらに、感度を低コストで同時に推定する枠組みを提案しました。標準プロンプト列と自己提案プロンプトの対角セルを必ず観測し、残り予算を一様ランダム観測に充て、指標ごとに異なる推定器（平均性能は直接平均、ばらつきは低ランク行列補完）で復元します。加えて、自己提案プロンプトが他モデル提案プロンプトをどれだけ上回るかを示す「自己提案バイアス」（モデルが自ら生成したプロンプトを過大評価する傾向）を感度の代理指標として導入しました。 提案法の有効性を確かめるために、16のVLM×ファッション系の5タスクで実験しました。その結果、効率化手法の優位性はモデルのプロンプト感度Sと強く相関し、低感度の最新商用モデルでは一様サンプリングを超える効率化の恩恵がほぼ失われることを実証しました。提案法は高感度群において、高精度で推定できました。また、自己提案バイアスは感度と正の相関を示し、高感度群と低感度群を概ね弁別できた一方、（プロンプト間性能の平均とばらつきに基づく）SN比は行列補完による推定に劣りました。感度推定のためのより良い指標については、今後の課題となります。 本研究からは、評価を効率化する手法の導入は「常に必要」ではなく、少数プロンプトで感度をパイロット測定してから適用可否を判断すべきという実務指針を得ることができます。 気になった研究発表 続いて、本会議を聴講していたZOZO・ZOZO NEXTメンバーが気になった研究発表をご紹介します。 [IS1-105] Eコマース類似画像検索に向けたネイティブアスペクト比対応画像特徴モデルの構築 土井賢治, 山下郁矢, 西村修平（LINEヤフー） Eコマースの画像検索は、ユーザーが撮った1枚の写真をクエリに、膨大な商品データベースから同一・類似商品を探し出す技術です。全商品画像を画像エンコーダでベクトル化して索引を構築し、クエリ画像も同じエンコーダでベクトル化します。その後、コサイン類似度に基づいて上位候補を返します。そのため、検索品質はエンコーダが生成する特徴表現の識別性と汎化性に左右されます。ここで問題となるのが、商品画像は縦長・横長・正方形とアスペクト比が大きくばらつく点です。多くのVision Transformer（ViT）は、正方形の固定解像度を前提としています。そのため、センタークロップや正方形パディングで入力を揃えると、対象物体の見切れや背景の増加が生じ、同一インスタンスを見分けるのに欠かせない細部の情報が失われかねません。 本研究では、大規模な視覚言語モデル「SigLIP2-NaFlex」を、商品インスタンス検索へ適応させる手法が提案されています。SigLIP2は、Sigmoid Lossによる視覚・言語の事前学習で強い表現を獲得したモデルです。そして、そのNaFlex版は画像を正方形に押し込めず、画像ごとに異なる縦横パッチ数（最大パッチ数Mの範囲内）を扱えます。位置埋め込みをアスペクト比に合わせて補間し、トークン数がMに満たなければパディングとattention maskでバッチ化するため、縦長・横長の画像でも形状と細部を残せます。著者らはこの基盤モデルを土台に、3つの工夫を組み合わせています。1つ目は、先述したように基盤モデルの特徴であるネイティブアスペクト比入力です。2つ目は学習設計で、クラス内凝集とクラス間分離を高めるArcFace型のmargin-softmaxを主損失に、特徴の過度な集中を抑えるKoLeo正則化を併用します。3つ目が「2段階fine-tuning」です。はじめに、neck/headやpooling head、position embedding、最終Transformer層など一部だけを学習します（Stage 1）。その後、モデル全体を小さな学習率で緩やかに調整します（Stage 2）。 同一物体インスタンスの検索能力を測る大規模評価セット「ILIAS」を用いて実験した結果、モデル全体を一気にfine-tuningした場合のmAP@20は0.3837となりました。一方、提案手法は社内評価をほぼ維持したまま、mAPを0.4122へ改善したと報告されています。特に興味深いのは学習対象レイヤのアブレーションです。backboneを完全にfreezeしてneck/headだけを学習するとタスク適応が不十分になる一方、patch embeddingまで学習対象に含めると社内評価・ILIASの双方で悪化しました。事前学習で得た汎用的な低レベル表現を保ちつつ、backbone headやposition embedding、最終Transformer 1層程度から段階的に更新する方針が有効だと示唆されています。 本研究により、基盤モデルをそのまま特徴抽出器として用いるだけでは、商品インスタンス検索には不十分であることがわかりました。入力処理・学習データ・fine-tuning対象を一体として設計することが検索品質を左右する、という知見を示しています。本研究の成果の一部は、商用利用が可能なApache-2.0ライセンスで公開モデルとして提供されており、商品検索だけでなく画像の汎用的な特徴抽出器として幅広く活用できます。 [OS1E-04] Quantifying Style Specificity of Font Impressions via Hyperbolic Co-Embedding Yugo Kubota, Kaito Shiku, Seiichi Uchida (Kyushu Univ.) フォントは「elegant」「cute」といった多様な印象を与えますが、印象語が許容するフォントスタイルの幅は語によって大きく異なります。例えば「elegant」は幅広いスタイルのフォントに当てはまる一方、「skinny」が指すスタイルはかなり限定的です。本研究では、印象語がフォントスタイルをどれだけ強く制約するかを「スタイル特異性（style specificity）」と定義し、これを定量化する手法を提案しています。 提案手法では、フォントと印象タグ集合を共有の双曲空間に共埋め込みします。双曲空間は原点から離れるほど体積が指数的に増大する性質を持ち、一般概念と具体概念の階層構造の表現に適しています。対照学習に加えて（i）印象がそれに適合するフォントを包含する、（ii）特異性の低い印象がより高い印象を包含する、という2つの包含関係をエンタイルメント損失として学習します。これにより、多様なスタイルと互換性のある印象ほど原点近くに配置され、原点からの距離がそのままスタイル特異性の指標として機能します。 MyFontsデータセットでの実験では、印象ベースのフォント検索において既存手法を多くの指標で上回り、特にタグ数の少ないクエリでの改善が顕著でした。タグ単位の分析も興味深く、原点付近には「retro」「elegant」のような形容詞的なタグが、遠方には「skinny」「typewriter」のような形状指向のタグが分布していました。一方、「heavy」のように幾何的な語でも特異性が低い例もあり、スタイル特異性は表面的な語義だけでは決まらないことが示されています。 この研究に興味を持ったのは、ZOZOで取り組んでいる、コーディネート画像から「クール」「親しみやすい」といった印象を予測するプロジェクトとの親和性を感じたためです。ファッションの印象も、幅広いコーディネートに当てはまるものからスタイルを強く限定するものまで制約の強さが異なるはずです。これを埋め込み空間の幾何的性質として定量化できれば、印象定義の分析や、印象を用いた検索・推薦における多様性の制御に応用できる可能性があると感じました。 [OS2D-02] HyDE Vector Mix: クエリと仮想回答の重み付き混合による高精度な密ベクトル検索 深田翔（東大）, 欅惇志（一橋大）, 松井勇佑（東大） テキストを用いた文書検索のタスクでは、検索クエリと文書をそれぞれ密なベクトルとして表現し、ベクトル空間上で類似度が高い文書を抽出する、いわゆるベクトル検索の手法が人気となっています。しかし、クエリと文書ではテキストの長さや内容が大きく異なるため、両者の類似度を正確に捉えることが難しいという課題があります。 本研究は、まず検索クエリから「どのような文書が回答となり得るか」をLLMで予測し、生成された仮想回答のベクトル表現と元のクエリのベクトル表現を重み付きで足し合わせて、クエリを表現します。これにより、仮想回答とクエリの両方を考慮した検索が可能になり、既存手法を大きく上回る検索精度を達成しました。 文書検索に仮想回答を用いるアプローチ自体はこれまでも注目されてきましたが、本研究ではクエリと仮想回答の両方のベクトル表現を組み合わせることを新たに提案しました。そして、提案手法はシンプルな手法ながらTREC 2025 RAG Trackという国際的なワークショップで12チーム中1位の検索精度を達成したという点に興味を抱きました。ZOZOでも、ZOZOTOWNをはじめとする各種サービスの検索精度を改善するための取り組みが日々行われているため、とても参考になりました。 [OS3B-03] 数式駆動教師付き距離学習 大竹ひな, 荒川深映, 田中啓太郎（早大）, 福原吉博（産総研, 早大）, 片岡裕雄（産総研, オックスフォード大）, 森島繁生（早大） 画像認識モデルの事前学習には、ImageNetのような大規模な実画像データセットが広く利用されています。しかし、データ収集やアノテーションには大きなコストがかかり、プライバシーや社会的バイアスの問題もあります。そこで、数式から生成した画像だけを使ってモデルを学習する「数式駆動型教師あり学習 (FDSL)」が提案されています。FDSLは、画像生成に使ったパラメータを離散的なクラスラベルとして扱い、画像分類タスクとして事前学習します。一方、生成パラメータは本来連続的です。そのため、見た目がよく似た画像でも別クラスとして区別され、モデルが画像全体の形状ではなく細かなテクスチャなどに依存する場合があります。 本研究では、この問題に対して「数式駆動教師付き距離学習 (FDSML)」を提案しています。画像生成パラメータ間の距離を教師信号として利用し、パラメータが近い画像は特徴空間でも近く、遠い画像は離れるように学習します。言い換えれば、画像同士の「関係性」を理解するアプローチです。具体的には、アンカー画像と2枚の候補画像を選び、生成パラメータの距離に基づいてポジティブとネガティブを決定する「Parameter-Aware Triplet Loss」を導入しています。さらに、距離学習の効果を高めるために「FineFractalDB」を新たに構築しています。従来のFDSLの学習に用いられるFractalDBで見られた、反転しただけの類似画像や形状が崩れた画像を減らし、1000カテゴリ・100万枚からなる高密度で多様なデータセットを実現しました。 実験では、画像分類の性能を維持しながら、画像検索の性能が大きく向上しました。Stanford Online ProductsではRecall@1が従来手法の65.6％から74.0％へ、Stanford Carsでは56.2％から78.4％へ改善しています。加えて、画像のぼけや天候変化、デジタル劣化などに対する頑健性も向上しました。 本研究は、実画像を用いずMetric Learningに適したEmbedding表現を事前学習できる可能性を示しています。ZOZOTOWNでも 画像検索機能にMetric Learningを利用 しており、Embeddingモデルの事前学習や、構造変化に頑健な表現を獲得するために応用できそうな研究だと感じました。 [OS2E-10] CIRCLED: 一貫した対話と複数ドメインを備えたマルチターンCIRデータセット 武田朋久（東大）, Yu-Chieh Lin（キオクシア）, 野澤優治（キオクシア）, Youyang Ng（キオクシア）, 鳥井修（キオクシア）, 松井勇佑（東大） CIR（Composed Image Retrieval）は、参照画像と修正テキスト（例：「これをもっとゆったりした赤いドレスに」）を組み合わせてクエリとする画像検索タスクです。当初は、キーワード検索より自然な「対話型ショッピングアシスタント」というユースケースが想定されていました。しかし、実際のユーザーは1回の検索で目的の商品にたどり着くとは限らず、検索結果を見ながら要件をテキストで追加していきます。そこで近年では、過去の画像・テキストペア履歴 {(I1,T1), …, (IL,TL)} 全体を使って検索するマルチターンCIRが提案されています。 本研究は、現時点で唯一公開されているマルチターンCIRのデータセットMulti-turn FashionIQが、シングルターンのクエリを単純に連結した構成であり、対話が正解へ段階的に近づく保証がないことを指摘しています。そして、正解の検索順位がターンごとに単調に改善することと、各修正テキストが過去のテキストと重複せず新情報を追加することを保証したデータセットを提案しています。提案データセットはFashionIQ・CIRR・CIRCOの3つのシングルターンCIRデータセットを拡張したものです。その構成は、ファッション+一般ドメインで22,608セッション・202,845画像（ターン長2〜6）のデータセット（CIRCLED）となっています。 LLM-as-a-Judgeでは5つの観点（自然さ・一貫性・目標進捗・冗長性の少なさ・総合）で評価しており、自然さを除く4つの観点では既存データセットを含む比較対象を上回っています。一方で、自然さのみ提案手法の品質フィルタリング後にわずかに低下することが報告されており、これはフィルタリングによる平均ターン数の減少に起因するとされています。なおデータセット生成時はGPT-4o-miniを使い、品質評価時はGPT-5-miniを使用することで自己選好バイアスを回避しています。また本データセットに対し既存手法を適用し、画像とテキストの両方を活用する手法が優位なこと、ターンを重ねるほど精度が向上すること（一貫性設計が機能していること）を確認しています。 ZOZOにおいても、より直感的に商品やコーディネートを探せる機能によってユーザ体験の向上を見込めるため、本データセットを用いた、より早く正解に辿り着くマルチターンCIRの手法の提案が期待されます。 [OS1E-01] What-Where Transformer: 物体の意味と位置情報を分離し並行処理する画像バックボーン 吉橋亮太, 加太将弘（科学大）, 池畑諭（NII, デンソーアイティーラボラトリ）, 川上玲（科学大）, 佐藤育郎（科学大, デンソーアイティーラボラトリ） 物体発見（Object Discovery）や物体検出（Object Detection）、領域分割（Segmentation）タスクでは、画像中の「どこに何が写っているか」を扱います。そのため、「何が写っているか」を判断する画像分類よりもモデル構成が複雑になります。本研究では、その原因の1つとして、従来のViTが画像中の「何」に関する意味情報を中心に表現し、「どこ」に関する位置情報を内部に埋没させている点に着目しています。そして、物体の意味と位置を明示的に分離して扱う「What-Where Transformer (WWT)」を提案します。 WWTでは、画像パッチ由来のトークン列とは別に、想定する物体の最大数だけ「スロット」と呼ぶベクトルを用意します。そして、物体の意味を表す「what」をスロット、位置を表す「where」をスロットごとの注意マップ（ソフトマスク）として分離し、両者をペアで並行して処理します。一般的なViTでは注意マップはトークン更新の途中で使われるだけですが、WWTでは位置情報そのものをネットワーク内で保持し、最終出力として利用できるようにしています。この設計により、WWTは意味情報と位置情報の両方をバックボーンから直接取り出せます。そのため、簡単な後処理や比較的シンプルなヘッドを用いることで、画像分類だけでなく物体発見、物体検出、領域分割にも利用できます。特に物体発見では、学習済みのソフトマスクを閾値処理するだけで物体領域を取り出せるため、タスクごとに大規模なデコーダを用意する必要がありません。 実験では、ImageNet-1kの分類精度を従来のViTとおおむね同程度に維持（Smallではやや劣る性能）しながら、注意マップの説明性や領域分割の性能を向上させることがわかりました。ImageNet-Sの弱教師あり領域分割では、DeiT-Tinyの8.8％、Attention Rolloutを用いた場合の35.9％に対し、WWT-TinyはmIoU 49.1％を記録しています。また、ゼロショット物体発見でも、VOCでCorLoc 41.4％、COCOで30.2％を達成し、教師あり学習されたDeiTを一部上回っています。 本研究は、画像から得られる特徴を単一のEmbeddingとして表現するだけでなく、「何」と「どこ」を別々の表現として保持することで、1つのバックボーンをさまざまな視覚タスクに転用しやすくする研究です。シンプルな発想ながら、画像分類、物体発見、物体検出、領域分割といった複数のタスクで有効性を示しています。特に、分類用に学習したモデルから追加学習なしで物体位置を取り出せる点は興味深いです。商品画像に含まれる複数アイテムの発見や、説明可能性を持った画像認識モデルなどへの応用可能性を感じました。 まとめ 本記事では、MIRU2026の参加レポートをお伝えしました。今年もMIRUに参加することで、業界の最先端を俯瞰し、多くの新たな知見を得ることができました。また、発表を通じてフィードバックを得たり、スポンサーブースにて弊社の取り組みをご紹介できたりしたことは大変貴重な機会でした。変化の激しい業界ですので、今回得られた最新の知見を今後の研究開発へ積極的に取り入れ、さらなる成果を上げるために、そして業界の発展に貢献できるよう、今後も邁進していきます。 最後に ZOZOでは、一緒にサービスを作り上げてくれる方を募集中です。ご興味のある方は、以下のリンクからぜひご応募ください。 corp.zozo.com zozonext.com hrmos.co