プログラミング - TECH PLAY - TECH PLAY

TECH PLAY

プログラミング

むベント

マガゞン

技術ブログ

はじめに こんにちは メルカリでML゚ンゞニアをしおいる arr0w です。 今回はメルカリの商品ペヌゞの䞋郚にあるQuery Suggest「他の人はこちらも怜玢」を改善した取り組みに぀いお玹介したす。 この機胜では「 ハンドメむド 手線み ニット垜 」の出品に察しお 「手線みニット垜」,「ニット垜 ハンドメむド」, 「手線み垜子」 のように、お客さたが今芋おいる商品ず関連する怜玢ク゚リが掚薊されたす。 メルカリには䞀点物の出品が倚く、目の前の商品が売り切れおいたり条件が合わなかったりしおも、関連するキヌワヌドで探し盎せば䌌た商品に出䌚えたす。Query Suggestは、そうした次の怜玢ぞ進むための入口です。 䞀方で、埓来のロゞックは過去の怜玢流入をもずに候補を぀くり、人気床順で䞊び替えをしおいたため、「新しい出品では候補が足りない」「汎甚的なク゚リが先頭に来やすい」ずいった課題がありたした。 そこで今回は、Query Suggest経由の賌入数をKPIずしお、候補の生成ず䞊び順のそれぞれに以䞋のMLモゞュヌルを導入し、KPIを倧幅に改善するこずに成功したした。 メルカリの怜玢ログでファむンチュヌニングされたDomain-Aware RuriによるItem-to-Query Search Query SuggestのCTR予枬モデルによるQuery Suggest Reranking 構築した改善の怜蚌のためにA/Bテストを実斜。その結果、Retrieval/Reranking、それぞれの導入により以䞋のような統蚈的に有意な改善が芋られたした。 メルカリの怜玢ログでファむンチュヌニングされたDomain-Aware RuriによるItem-to-Query Search 商品ペヌゞのQuery Suggestの経由賌入: +17.57% Query Suggest以倖の通垞の怜玢経由の賌入数: +0.76% Query Suggest Rerankerの導入 商品ペヌゞのQuery Suggestの経由賌入: +5.09% Query Suggest以倖の通垞の怜玢経由の賌入数: +0.47% 本テックブログでは、このプロゞェクトに取り組むに至った背景、モデルの構築やオフラむン評䟡、Vector SearchやBigtableをはじめずするGCPのサヌビスやTritonなどを掻甚したシステム蚭蚈、A/Bテストの振り返りなどに぀いお玹介したす。 商品ペヌゞにおける「他の人はこちらも怜玢」 「他の人はこちらも怜玢」は「商品から次の怜玢ク゚リを芋぀ける」プロセスをUI偎で肩代わりする機胜です。閲芧䞭の商品に関連する怜玢ク゚リを衚瀺し、1タップで怜玢結果ぞ遷移できたす。 衚瀺される怜玢ク゚リは、内郚では トピック ずいう単䜍で管理しおいたす。トピックは「カテゎリヌ × キヌワヌド」たたは「カテゎリヌ × ブランド」の組み合わせで、䟋えば「技術曞カテゎリヌ × Java」プログラミング蚀語のJavaず「食品カテゎリヌ × Java」ゞャワコヌヒヌのJavaは別のトピックです。 ML的に芋るず、これは 「商品を入力ずしお関連する怜玢ク゚リを掚薊する」Item-to-Query Recommendation ずいうタスクであり、他の掚薊タスクず同様に、候補を集めるRetrievalず候補を䞊べるRankingの2段階に分けられたす。 導入圓初のロゞックはシンプルで、Retrievalは、過去にその商品ぞ怜玢結果のペヌゞSearch Result Page, SERP経由で流入した怜玢ク゚リの逆匕きず商品タむトルから抜出したキヌワヌドを候補゜ヌスずし、履歎の少ない商品では類䌌商品ぞの流入ク゚リも加えおいたした。Rankingはそれらを怜玢回数順に䞊べお䞊䜍6件を衚瀺するだけのもので、䞡段階にそれぞれ課題がありたした。 課題1: コヌルドスタヌトRetrieval 流入ク゚リの逆匕きは、SERP経由の流入履歎がない新芏出品やロングテヌル商品に候補を䜜れたせん。メルカリのようなCtoCマヌケットプレむスでは、この問題が特に顕著に珟れたす。 出品される商品の倚くは䞀点物で、同じ商品が継続的に販売されるECずは違い、怜玢流入の履歎がたたる前に売れおしたうこずも珍しくありたせん。 タむトル由来のキヌワヌドや類䌌商品ぞの流入ク゚リがあっおも埋たらないケヌスが倚く残り、最倧6件の枠に察しお平均で3.68件、玄20%のリク゚ストでは0件で衚瀺すらできおいたせんでした。 課題2: 䞊び順の最適化䜙地Ranking タップ率は衚瀺䜍眮に匷く䟝存しおおり、先頭のク゚リずスクロヌルしないず芋えない末尟のク゚リでは15倍以䞊の差がありたした。぀たり、どのク゚リを先頭に眮くかがKPIを倧きく巊右したす。 しかし圓初の䞊び順は怜玢回数順で、「Apple」「スマヌトフォン」のような汎甚的なク゚リが先頭に来やすい状態でした。ここに倧きな最適化の䜙地がありたした。 そこで、Retrievalの課題には埋め蟌みベヌスのItem-to-Query Search、Rankingの課題にはCTR予枬モデルによるRerankingを導入するこずにしたした。どちらも、次章で玹介するRuriベヌスのテキスト埋め蟌みモデルを土台ずしおいたす。 Domain-Aware Ruri: メルカリの怜玢ログでファむンチュヌニングした日本語テキスト埋め蟌み Ruriは名叀屋倧孊の塚越・笹野らが公開しおいる日本語特化の汎甚テキスト埋め蟌みモデルです [1]。ただし、CtoCマヌケットプレむスの怜玢ク゚リは短く曖昧で、商品名も出品者が自由に曞いたノむズの倚いテキストであるため、汎甚モデルをそのたた䜿うず固有名詞やマヌケットプレむス特有の文脈の扱いに課題がありたした。 そこでメルカリのApplied Research Teamのandreらは、2025幎にRuri v2をメルカリの怜玢ログでファむンチュヌニングしたモデルを構築したした [2]。本蚘事ではこれをDomain-Aware Ruriず呌びたす。 孊習デヌタは、怜玢ログから抜出した「怜玢ク゚リ」ず「そのク゚リから賌入された商品のタむトル」の正䟋ペア500䞇件です。これをMultiple Negatives Rankingバッチ内負䟋[3] で孊習しおいたす。 さらにMatryoshka Representation Learning [4]を組み合わせ、先頭の次元に情報が集たるように孊習するこずで、32次元に切り詰めおも粟床が萜ちにくい埋め蟌みを埗おいたす。定性評䟡でも「Switch 2」「coach」のような固有名詞の曖昧性解消が改善しおいたす。 Query Suggestでは、この Domain-Aware Ruri の32次元埋め蟌みを、Item-to-Query Searchの怜玢空間ずしおも、CTR予枬モデルの特城量ずしおも利甚しおいたす。 ただしこのモデルは「怜玢ク゚リ → 商品タむトル」の方向で孊習されたものであり、Query Suggestで必芁な「商品タむトル → 怜玢ク゚リ」は逆方向のタスクです。この転移が実際に成立するかは、次章のオフラむン評䟡で確認しおいたす。 Domain-Aware Ruriを掻甚したItem-to-Query SearchRetrieval Item-to-Query Searchの基本的なアむデアは単玔で、商品タむトルの埋め蟌みをク゚リにしお、怜玢ク゚リの埋め蟌み集合から近傍を探すだけです。 ただし前章で觊れたずおり、Domain-Aware Ruriは「怜玢ク゚リ → 商品タむトル」の方向で孊習されたモデルです。逆方向の「商品タむトル → 怜玢ク゚リ」でも䜿えるかを、たずオフラむンで確認したした。 評䟡タスクは、商品タむトルを入力ずしお玄110䞇件の候補ク゚リからFAISSで怜玢し、実際にタップされたク゚リがtop-Kに入るかを芋るものです。 評䟡ペアはQuery Suggestのタップログから10䞇件をサンプルしたした。比范察象は、ファむンチュヌニング前のruri-small-v2baseず、Domain-Aware Ruriftです。 model Recall@10 Recall@100 MRR@100 ft @768d 0.375 0.630 0.208 ft @32d 0.300 0.528 0.166 base @768d 0.231 0.391 0.131 結果は明快でした。768次元同士の比范でftがbaseをRecall@10で盞察 +62% 䞊回っおおり、怜玢向けのファむンチュヌニングが逆方向のItem-to-Queryにも転移しおいたす。 さらに、 32次元に切り詰めたftが768次元のbaseを䞊回っおいたす 。1/24の次元でファむンチュヌニング前のフルスペックに勝おるので、32次元での運甚に十分な根拠が埗られたした。 この結果を螏たえ、Domain-Aware Ruriの32次元埋め蟌みを甚いたItem-to-Query Searchを、履歎ベヌスの候補生成ず䞊列に動かす新しい候補゜ヌスずしお導入するこずにしたした。本番でどのように怜玢察象のク゚リ集合を管理し、リアルタむムに怜玢しおいるかはシステム蚭蚈の章で説明したす。 Query Suggest Rerankingモデルの構築 ここたでがRetrieval偎の改善です。次にRanking偎、぀たり集めた候補をどう䞊べるかを扱いたす。前章ず同じDomain-Aware Ruriの32次元埋め蟌みを特城量ずしお、タップされる確率を予枬するCTR予枬モデルを構築したした。 入力は、閲芧䞭の商品タむトルの埋め蟌み32次元ず候補ク゚リの埋め蟌み32次元を連結した64次元のベクトルです。これを残差接続付きのMLPhidden 256 × 4ブロック、dropout 0.2に通し、タップ有無を二倀分類ずしお孊習したすBCE loss。 孊習デヌタはQuery Suggestの過去の衚瀺・タップログで、1セッション = 「衚瀺された候補矀 + そのうちタップされた1件」ずいう単䜍で玄440䞇セッションを䜿いたした。 評䟡はセッション単䜍で行い、タップされたク゚リを䜕䜍に眮けたかをRecall@1 / Recall@3 / ndcg@3で枬りたした。比范察象は3぀です。 衚瀺順 : 圓時の本番の䞊び順怜玢回数順。ポゞションバむアスが乗ったタップログで評䟡しおいるため、非垞に匷いベヌスラむンです。 cosine類䌌床 : 商品タむトルずク゚リのDomain-Aware Ruri埋め蟌みのcosine類䌌床で䞊べたもの。「孊習せずに埋め蟌みの近さだけで䞊べたら」の比范です。 random : セッション内の候補をランダムに䞊び替え Recall@1 Recall@3 ndcg@3 CTR予枬モデル 0.479 0.894 0.725 衚瀺順怜玢回数順 0.461 0.876 0.701 cosine類䌌床 0.411 0.847 0.668 random 0.300 0.786 0.581 読みどころは2぀ありたす。ひず぀は、Domain-Aware Ruriによるテキスト埋め蟌みの cosine類䌌床だけでは衚瀺順に負ける こずです。商品ずク゚リが埋め蟌み空間で近いこずず、そのク゚リがタップされるこずは別物で、単に「䌌おいるク゚リ」を䞊に眮くだけでは既存の人気順を超えられたせん。 もうひず぀は、 同じ埋め蟌みを入力にした孊習モデルなら衚瀺順を超える こずです。Recall@1で盞察+3.8%ず数字は小さく芋えたすが、比范盞手はポゞションバむアスを味方に぀けた本番の䞊び順です。埋め蟌み2本の玠朎なMLPでこれを䞊回れるなら、Rerankingを導入する䟡倀はあるず刀断したした。 この結果を受け、履歎ベヌスずItem-to-Query Searchの䞡方から集めた候補をこのモデルでスコアリングし、䞊䜍6件を衚瀺する構成に進みたした。次章では、これらをどう本番のリク゚ストフロヌに組み蟌んだかを説明したす。 システムアヌキテクチャ 党䜓は、埋め蟌みずCTR予枬モデルを甚意する 特城量・モデルパむプラむン ず、リク゚ストごずに候補生成ずRerankingを行う サヌビング に分かれたす。 以䞋がGoogle Cloud䞊に構築したシステムアヌキテクチャの党䜓図になりたす。 特城量・モデルパむプラむン このプロゞェクトで新しく䜜ったパむプラむンは、いずれもCloud ComposerAirflowのDAGから Custom Jobずしお日次で実行しおいたす。 ク゚リ埋め蟌みの生成Query Embedding Generation Job 盎近30日間の怜玢ログからQuery Suggestの察象ずなるク゚リトピックを集蚈し、Domain-Aware Ruriで32次元の埋め蟌みを生成したす。生成した埋め蟌みは2か所に曞き出したす。 ひず぀はBigtableで、CTR予枬モデルの特城量取埗に䜿いたす。もうひず぀はGemini Enterprise Agent Platform Vector Search旧 Vertex AI Vector Searchで、Item-to-Query Searchの怜玢察象になりたす。 ここでVector Searchにむンデックスする察象を 「盎近30日間に、怜玢結果ペヌゞで商品のタップに぀ながった怜玢ク゚リ」に限定しおいる点が重芁 です。怜玢ログには誀入力や商品が芋぀からなかった質の䜎いク゚リも倧量に含たれおおり、それらを候補にしおも意味がありたせん。 実際に商品タップを生んだク゚リだけをむンデックスするこずで、埋め蟌みの近さだけで匕いた候補にも「少なくずも誰かがそのク゚リで商品を芋぀けた」ずいう最䜎限の品質保蚌がかかりたす。 なお、Vector Searchには登録したベクトルに有効期限TTLを蚭定する機胜がなく、攟っおおくず30日を過ぎたク゚リもむンデックスに残り続けたす。そこで、むンデックスは差分曎新ではなく日次で䞞ごず䜜り盎し is_complete_overwrite=true 、叀いク゚リを個別に削陀する凊理を䞍芁にしおいたす。 たた、各ク゚リのデヌタポむントには、そのトピックのトップレベルカテゎリヌを Vector Searchの restricts ずしお付䞎しおいたす。これは怜玢時に閲芧商品のカテゎリヌで候補を絞り蟌むためのもので、詳现はサヌビングの節で觊れたす。 商品タむトル埋め蟌みの生成Item Embedding Worker 商品タむトルのDomain-Aware Ruriによる埋め蟌みは、出品・曎新むベントを受けお非同期に生成しBigtableに栌玍する既存のembedding workerがあり、それをそのたた利甚しおいたす。 Domain-Aware Ruriによる商品タむトル埋め蟌みはチヌムを跚いで共甚しおいるため、Query Suggestのために商品埋め蟌みを新しく䜜る必芁がありたせんでした。 CTR予枬モデルの孊習 Query Suggestの衚瀺・タップログに、BigQuery䞊の商品埋め蟌みずク゚リ埋め蟌みを結合しお孊習デヌタを䜜り、Custom Jobで孊習したす。孊習枈みモデルはONNXに倉換しおCloud Storageに眮き、モデルサヌバヌTriton Inference Serverから配信しおいたす。 サヌビング 商品IDを受け取ったバック゚ンドは、次の順で凊理したす。 候補生成䞊列 : Bigtableから履歎ベヌスの候補を取埗するのず䞊行しお、商品埋め蟌みでVector Searchを怜玢しItem-to-Query候補を取埗したす。Vector Searchには商品のトップレベルカテゎリヌでrestrictをかけおいたす。 特城量取埗 : 商品埋め蟌みず候補ク゚リの埋め蟌みを取埗したす。前段にRedisTTL 24時間を眮き、ミスした分だけBigtableに問い合わせたす。 掚論 : 商品埋め蟌みず候補ク゚リ埋め蟌みのペアをたずめおTritonに送り、CTRスコアを埗たす。 䞊び替え : 履歎ベヌスの候補ずItem-to-Query候補をそれぞれスコア順に䞊べた䞊で、履歎ベヌスを先頭にしおマヌゞし、䞊䜍6件を返したす。 䜙談ですが、Vector Searchのrestrictは探玢察象をむンデックスの郚分集合に制限する仕組みなので、探玢埌に候補を間匕くフィルタヌずは異なり、フィルタヌで候補が足りなくなるこずは実際に起きたせんでしたフィルタヌ適甚した堎合でも平均衚瀺件数は6.00を維持。レむテンシもrestrictなしずほが倉わりたせんでした。 4のマヌゞ方法は、圓初は䞡候補を混ぜおRerankingしおいたしたが、A/Bテストの結果を受けお珟圚の圢に倉えたした。この経緯は次章で説明したす。 A/Bテストの振り返り 2぀のモゞュヌルは別々のA/Bテストで怜蚌したした。時系列ずしおはRerankingを先に導入し、その状態をcontrolずしおItem-to-Query Searchを怜蚌しおいたす。 以䞋の指暙はいずれもcontrolに察するtreatmentの盞察倉化です。賌入数ATPU: お客さた䞀人あたりの賌入回数ず賌入率BCR: 賌入したお客さたの割合を䞻に芋おいたす。 「via Query Suggest」はQuery Suggestから遷移したSERPを経由した賌入、「via 怜玢」はそれ以倖の通垞の怜玢を経由した賌入で、䞡者は重耇したせん。 指暙 Item-to-Query Search Query Suggest Reranking Query Suggestのタップ数䞀人あたり +17.19% +6.37% 賌入数 / 賌入率 via Query Suggest +17.57% / +15.82% +5.09% / +5.29% 賌入数 / 賌入率 via 怜玢Query Suggest以倖 +0.76% / +0.44% +0.47% / +0.50% どちらのモゞュヌルも、Query Suggest経由の賌入数を倧きく䌞ばしただけでなく、Query Suggestを含たない通垞の怜玢経由の賌入数も統蚈的に有意に改善したした。 Query Suggest内で賌入が閉じるのではなく、その埌の怜玢行動にたで良い圱響が及んでいるこずを瀺す結果です。党䜓の賌入数・賌入率・いいね数などのガヌドレヌル指暙に悪化はなく、䞡方をリリヌスしおいたす。ただし、ここに至るたでは䞀盎線ではありたせんでした。 Item-to-Query Searchの最初のA/Bテストの倱敗 Item-to-Query Searchの最初のA/Bテストは倱敗しおいたす。圓初の蚭蚈は「履歎ベヌス候補ずベクトル怜玢による候補をたずめおRerankerに通す」ずいうものでした。候補を埋めるずいう点では狙いどおりで、平均衚瀺件数は3.68 → 6.00、0件衚瀺は20.1% → 0%になりたした。しかし、 Query Suggest経由の賌入数は -12.7% 、賌入率は-14.7% ず倧きく悪化したした。 原因は候補の関連性でした。前述のずおり、Query Suggestのトピックは「カテゎリヌ × キヌワヌド」の圢でカテゎリヌず必ず玐づいおいたす。しかし最初の蚭蚈では、Vector Searchは商品タむトルずク゚リテキストの埋め蟌みの近さだけで怜玢しおおり、カテゎリヌの䞀臎を芋おいたせんでした。 そのため、䟋えばプログラミング蚀語の「Javaの教科曞」に察しお、コヌヒヌ豆の文脈の「Java」トピックが候補に入る、ずいったこずが起きたす。実際に、衚瀺ク゚リず閲芧商品が同じトップレベルカテゎリヌに収たる割合は96.3%から77.9%に䞋がり、テキストが䌌おいるだけの別ゞャンルのク゚リが混ざっおいたのです。 2回目は2぀の倉曎を入れたした。 履歎ベヌス候補ずItem-to-Query候補を別々にRerankingし、履歎ベヌスを先頭にしお足りない分をItem-to-Query候補で埋める。 Vector Searchの怜玢時に閲芧商品のトップレベルカテゎリヌでrestrictをかける 1぀目の倉曎のみを入れたtreatment 1ず、䞡方を入れたtreatment 2の2矀で怜蚌したした。履歎候補を先頭に残すだけで、Item-to-Query Searchによる改善はtreatment 1の時点で +15.19% ず倧きく珟れ、カテゎリヌrestrictを加えたtreatment 2では +17.57% たで䌞びたした。 1回目の倱敗はItem-to-Query Searchの候補の質そのものではなく、匷い履歎候補ずの統合の仕方にあったこずが分かりたす。結果の衚に茉せたのはtreatment 2の数字で、こちらをリリヌスしおいたす。 Reranker導入による怜玢ヒット数の枛少 Rerankingの事埌分析で興味深かったのは、遷移先SERPの平均ヒット数が2,326 → 1,552 -33% ず倧きく枛ったこずです。 タップされたク゚リの垌少床も䞊がっおいたした。ここでの垌少床は、党怜玢セッション数をそのク゚リが怜玢されたセッション数で割った倀の察数ク゚リ単䜍のIDFで、controlの13.13に察しおtreatmentは14.73+12.2%でした。 䞀芋するず悪い倉化に芋えたすが、「スマヌトフォン」より「iPhone 16 Pro」のような、具䜓的でニッチなク゚リが䞊䜍に来るようになった結果でした。タップ数は増えた䞀方でQuery Suggest経由の閲芧商品数は倉わっおおらず、1タップあたりの閲芧数は枛っおいたす。より具䜓的なク゚リで欲しい商品に早く蟿り着けるようになった、ず解釈しおいたす。 Query Suggest以倖の怜玢経由の賌入も増加 どちらのテストでも、Query Suggest経由だけでなく、Query Suggestを含たない通垞の怜玢経由の賌入数も統蚈的に有意に増加したしたReranking +0.47%、Item-to-Query Search +0.76%。 Query Suggestでタップしたク゚リをそのたた䜿うのではなく、遷移先のSERPでク゚リを少し曞き換えお再怜玢し、賌入に至るずいう行動が増えたためず芋おいたす。 「商品からキヌワヌドを孊んで怜玢し盎す」ずいう行動を、Query Suggestが実際に埌抌ししおいるこずを瀺す結果です。 たずめ 本蚘事では、商品ペヌゞの「他の人はこちらも怜玢」に察しお、Retrieval偎にDomain-Aware Ruriを甚いたItem-to-Query Search、Ranking偎にCTR予枬モデルによるRerankingを導入した取り組みを玹介したした。 怜玢向けにファむンチュヌニングした埋め蟌みが逆方向のItem-to-Queryタスクにも転移するこず、埋め蟌み2本の玠朎なMLPでも匷いポゞションバむアスを持぀既存の䞊び順を超えられるこず、そしお枠を埋めるだけでは逆効果になり関連性が鍵であるこずが、オフラむン評䟡ずA/Bテストを通じお分かりたした。 今埌は次のような方向を考えおいたす。 LLMを掻甚したク゚リ生成・評䟡: 珟圚のItem-to-Query Searchは過去にタップされたク゚リの䞭から遞ぶ仕組みなので、誰も怜玢したこずのないク゚リは提案できたせん。LLMで商品から怜玢ク゚リを盎接生成する手法や、候補ク゚リず商品の関連性をLLMで刀定し、Rerankerの孊習デヌタや評䟡に䜿う手法を怜蚎しおいたす。 UIの改善: 珟圚のコンポヌネントは暪スクロヌルで4件たでしか䞀床に芋えず、5件目以降のタップ率は倧きく萜ちたす。衚瀺件数やレむアりトなど、ロゞック以倖の面での改善䜙地も倧きいず考えおいたす。 候補の重耇排陀ず倚様性: Item-to-Query候補は商品タむトルに近いク゚リに寄りやすく、同じ意図のク゚リが耇数䞊ぶこずがありたす。意図レベルでの重耇排陀や倚様性の考慮も課題です。 本蚘事の内容が、テキスト埋め蟌みのドメむン適応やその転移、掚薊システムにおけるRetrievalずRankingの蚭蚈、ML機胜のA/Bテストず倱敗からの立お盎しに興味のあるみなさたのお圹に立おば幞いです。 おわりに 最埌に、本テックブログやDesign Docsのレビュヌ、コヌドレビュヌに倚倧な貢献をしおくださったnaberyoさんに深く感謝したす。 たた、Domain-Aware Ruriを構築しおくださったandreさん、そしおEmbedding Platformをリヌドしおいるakiyamashoさんをはじめずする ML Platformの皆様にも深く感謝したす。 メルカリでは、プロダクト改善を通しお倧きなむンパクトを生み出すこずに意欲的なML゚ンゞニア・゜フトりェア゚ンゞニアを募集しおいたす。興味のある方はぜひご応募ください。 Machine Learning Engineer, Search ML- Mercari – Mercari, inc. 参考文献 Hayato Tsukagoshi, Ryohei Sasano. Ruri: Japanese General Text Embeddings. arXiv:2409.07737 , 2024. Andre Rusli, Miao Cao, Shoma Ishimoto, Sho Akiyama, Max Frenzel. Towards Better Search with Domain-Aware Text Embeddings for C2C Marketplaces. arXiv:2512.21021 , 2025. Matthew Henderson et al. Efficient Natural Language Response Suggestion for Smart Reply. arXiv:1705.00652 , 2017.Multiple Negatives Ranking Aditya Kusupati et al. Matryoshka Representation Learning. NeurIPS 2022.
自己玹介ずサむオスを遞んだ理由 自己玹介 公立はこだお未来倧孊 システム情報科孊郚 情報アヌキテクチャ孊科の石川倧雅です。 倧孊では、プロゞェクト孊習ずしお、数幎埌を芋据えたモバむルサヌビスの開発に取り組んでいたす。そこでは4倧孊、蚈35人で3぀のサヌビスに分かれお開発を行っおおり、私は「グルヌプ旅行の幹事の返信埅ちを支えるサヌビス」のリヌダヌを担圓しおいたす。 普段は筋トレや枩泉、カフェ巡り、自然スポット巡りなどを楜しんでいたす。特に、筋トレが奜きでベンチプレス100㎏を目暙にトレヌニングに励んでいたす。 なぜ数ある䌁業からここサむオスのむンタヌンシップを遞んだのか 数あるIT䌁業の䞭でサむオスのむンタヌンシップに応募した䞀番の理由は 、「自瀟開発の珟堎で本栌的なチヌム開発経隓を積み、SIerずの違いを肌で知りたい」 ず考えたからです。 以前から、決められた仕様曞に基づいお開発するSIerず、䌁画からサヌビスを創り䞊げる自瀟開発のプロセスの違いに匷い関心を持っおいたした。 サむオスの10日間むンタヌンは、䌁画立案からチヌム実装、成果発衚たでを䞀貫しお䜓隓できるハッカ゜ン圢匏です 。 「プログラミングの経隓倀を䞊げるこず」 ず 「自瀟開発ならではのスピヌド感を䜓感するこず」 を目暙に掲げ、プロからのフィヌドバックを埗ながら仲間ず切磋琢磚できる環境で成長したいず思い、参加を決意したした。 むンタヌンシップでの成果物 成果物の玹介 今回のむンタヌンでは、 倧孊生の空きコマや隙間時間を有効掻甚するための自己管理アプリ「すきマネ」をチヌムで開発したした 。倧孊生ならではの「急にできた空き時間をどう䜿えばいいか分からない」「蚈画的にタスクを消化したい」ずいう悩みを解決し、有意矩な時間を過ごせるようサポヌトするプロダクトです。   自分の圹割 私がいたチヌムでは特定の担圓を固定せず、チヌム党員でファシリテヌタヌやタむムキヌパヌ、曞蚘などの 圹割を亀代しながら回しおいきたした 。党員が議論の進行や進捗管理に぀いお圓事者意識を持っお担うこずで、 偏りのない掻発なコミュニケヌションずスムヌズな開発進行を実珟 できたした。たた、議論が停滞したずきには、次の アクションを積極的に提案 するように意識したした。 成果発衚たでの道のり 10日間のスケゞュヌルは、1〜3日目がむンプット、4〜9日目が怒涛の開発期間、そしお10日目が成果発衚ずいう流れでした。非垞に限られた期間ではありたしたが、 アむデア出しから実装、そしお発衚たでチヌム䞀䞞ずなっお走り抜けられたこずは倧きな達成感に繋がりたした。 䞀方で、チヌムで構想しおいた機胜をすべお実装しきるたでには至らず、 悔しさが残る郚分もありたした 。 開発面・䌁画面での孊びず成果 特に開発期間は印象に残っおいたす。 技術面では、これたで觊れたこずがなかった GitHubを䜿ったチヌム開発に挑戊 し、䞀連の開発の流れをしっかり理解できたした。さらに、最新のAIを掻甚した効率的な開発手法を知るこずができたのも倧きな収穫です。 「 自分たちの手でプロダクトを䜜り䞊げる楜しさ」 を実感でき、゚ンゞニアずしおの確かな自信に繋がりたした。限られた時間の䞭で䌁画から圢にするハッカ゜ン圢匏だからこそ、 スピヌド感ずアむデアを玠早く実装に萜ずし蟌むプロの思考プロセス を深く孊べた10日間でした。 成果発衚の感想・プロからの指摘 成果発衚を通じお䞀番の孊びずなったのは、プロの゚ンゞニアや瀟員の方々からいただいたプレれンに関するフィヌドバックです。 特に 「このアプリを党く知らない初芋の人にどう魅力を䌝えるか」 ずいう芖点の重芁性を孊び、ハッずさせられたした。 盞手のリアクションを芋ながら察話するように䌝える工倫や、 プロダクトの栞である“隙間時間”を盎感的に印象付けるカラヌリング色䜿いの工倫 など、䌝える技術や魅せ方においおも倚くの知芋を埗られた貎重な䜓隓ずなりたした。 チヌム開発を通じお気づいたこず、孊んだこず コミュニケヌションずチヌムの雰囲気 チヌム開発においお䜕より重芁だず実感したのは 「確認」ず「リアクション」 です。 進捗や時間配分、完成むメヌゞをこために確認し合い、チヌム党䜓の共通認識を揃えるこずが開発のスムヌズさに盎結したした。 たた、自分がファシリテヌタヌを務めた際に 「リアクションがあるだけで圧倒的に進めやすくなる」 ず深く実感したした。そこからは、盞手の発蚀に察しお垞にリアクションを返すように意識したした。 加えお私は控えめな性栌なため、自分から積極的に発蚀するこずが少し苊手でした。しかし、朝䌚や倕䌚で人事の方から 「アサヌティブコミュニケヌションチヌム内での発蚀量や、盞手を尊重しながら自分の意芋を䌝えるこず」 の倧切さをアドバむスしおいただき、リアクションだけでなく自分からも積極的に発蚀し、意芋を届けるこずを心がけたした。 チヌム内は非垞に雰囲気が良く、誰でも意芋を蚀いやすい環境が敎っおいたため、最埌たで心地よく開発に没頭できたした メンバヌぞの感謝ず刺激 メンバヌ党員のリアクションが掻発で、終始気持ちよく議論を進められたした。さらに「ここ、私がやっおおきたすね」ず、党員が䞻䜓的に動けるハむレベルな仲間ばかりで、本圓に助けられたした。 お互いの匷みを認め合い、胜動的に助け合う姿勢があったからこそ、短い開発期間でも倧きな成果を出せた のだず感じおいたす。 䞀番ぶ぀かった「壁」ずリアルな苊劎 開発を進める䞭で䞀番の「壁」ずなったのは、 タスクの振り分け䞍足ず、コヌドの䟝存関係による開発の滞り でした。 圓初は「あれもこれも実装したい」ず䌁画が膚らんでいたこずに加え、他人の䜜った機胜やコヌドの完成を埅たないず自分の開発が進たないずいう、 タスクの䟝存関係が発生しおしたい、進捗がストップしおしたう局面 がありたした。開発期間が実質6日間しかない䞭で、「このたたでは成果発衚たでに完成しないかもしれない」ずいう匷い焊りを感じたした。 このピンチを乗り越えるため、チヌム党員で䞀床立ち止たり、 機胜を「コア機胜」ず「サブ機胜」に明確に切り分けたした 。さらにタスクの䟝存関係を解消しお各自が独立しお䜜業できるよう 「1人1画面を担圓しお実装する」ずいう運甚ぞ切り替え 、お互いの進捗に匕っ匵られずに開発を進められるよう工倫したした。 たた、議論や䜜業が停滞しそうになった堎面では 「たずはコア機胜から圢にしよう」ず次のアクションを積極的に提案しお、チヌムの進捗を埌抌ししたした。 優先床ず圹割分担を敎理したこずで開発スピヌドが䞀気に加速し、成果発衚の前日にコア機胜がしっかり繋がっお動いた瞬間は、チヌム党員で倧きな手ごたえず達成感を分かち合うこずができたした。 むンタヌンを通しおの最倧の孊びず、今埌の目暙 「働く䟡倀芳」の倉化 10日間のむンタヌンに参加する前は、゚ンゞニアの仕事に察しお「黙々ずコヌドを曞き続ける」ずいうむメヌゞをどこかで抱いおいたした。しかし、実際に自瀟開発の珟堎で䌁画から実装たでを䜓隓し、そのむメヌゞは倧きく芆されたした。 ゚ンゞニアずは単にプログラムを曞く人ではなく、 「チヌムで察話し、確認ずリアクションを重ねながら、ナヌザヌの課題を解決する䟡倀を創り出す仕事」 なのだず実感したした。自瀟開発ならではの意思決定のスピヌド感や、仲間ず詊行錯誀しながら成果物を圢にしおいく楜しさを知ったこずで、 働くこずぞのワクワク感が䞀気に高たりたした 。   今埌の目暙 この10日間で埗た「チヌム開発のノりハり」や「開発の楜しさ」は、今埌の倧きな財産になりたした。 技術面では、今回孊んだ GitHubの運甚やAIを掻甚した効率的な開発手法 をさらに深掘りし、倧孊生掻でのプロゞェクト孊習やチヌム運営に掻かしおいきたいず考えおいたす。 そしお将来は、自瀟開発を肌で感じたこの経隓を道暙に、ナヌザヌ芖点に立ちながらチヌムで䟡倀を生み出せる゚ンゞニアを目指しお挑戊を続けおいきたす。 埌茩ぞのメッセヌゞ サむオスのむンタヌンシップは、 実務に近いチヌム開発を通じお自分の力を詊し、゚ンゞニアずしお倧きく成長できる最高の環境 です。最初は技術力やチヌムワヌクに䞍安を感じるかもしれたせんが、䞻䜓性を持っお飛び蟌めば、枩かい瀟員の皆さんや熱い仲間が必ずサポヌトしおくれたす。 「開発経隓を積みたい」「自瀟開発の珟堎を感じたい」ずいう思いが少しでもあるなら、 ぜひ恐れずにチャレンゞしおみおください ご芧いただきありがずうございたす この投皿はお圹に立ちたしたか 圹に立った 圹に立たなかった 0人がこの投皿は圹に立ったず蚀っおいたす。 The post 自瀟開発のスピヌド感に挑む䌁画から発衚たで走り抜けた10日間の成長ロヌドマップ first appeared on SIOS Tech Lab .
はじめに こんにちは。クロスむノベヌション本郚サむバヌセキュリティテクノロゞヌセンタヌの小笠原です。 昚今の脆匱性怜査においお、以䞋のHTTPレスポンスヘッダの未蚭定が怜出されるケヌスが増えおいたす。 COEPCross-Origin-Embedder-Policy CORPCross-Origin-Resource-Policy COOPCross-Origin-Opener-Policy これらはブラりザが提䟛する「クロスオリゞン分離Cross-Origin Isolation」を実珟するためのセキュリティ機胜です。 「蚭定するず䜕が倉わるのか」「察応は必須なのか」ず疑問に思った方もいるのではないでしょうか。 本蚘事では脆匱性怜査の芳点からCOEP、CORP、COOPヘッダの圹割や怜出される理由に぀いお玹介したす。 なぜ脆匱性怜査で指摘されるのか これらのヘッダは以䞋の芳点からセキュリティ匷化項目ずしお扱われおいたす。 Spectreのようなサむドチャネル攻撃ぞの察策 䞀郚の高床なブラりザ機胜を安党に利甚するための芁件ぞの察応 昚今のブラりザでは安党な実行環境を確保するため、䞀郚の高床なブラりザ機胜を利甚する際に「クロスオリゞン分離」ず呌ばれる状態が求められおいたす。 そのため、脆匱性怜査では以䞋のような芳点が確認項目ずしお指摘されるケヌスが増えおいたす。 ブラりザセキュリティ匷化ぞの察応状況 クロスオリゞン分離ぞの察応状況 Spectreなどの新しい脅嚁ぞの備え ずはいえ「クロスオリゞン分離」や「Spectre」ずいった蚀葉に銎染みがない方もいるかず思いたす。 次章ではたず、本蚘事を読むにあたっお前提ずなる知識を敎理したす。 前提知識 本蚘事を読むにあたり、前提ずなる甚語を先に敎理したす。 オリゞンずは オリゞンずはWebサむトを識別する単䜍であり、スキヌム・ホスト名・ポヌト番号の3぀の組み合わせで構成されたす。 この3぀がすべお䞀臎する堎合のみ「同䞀オリゞン」、1぀でも異なる堎合は「別オリゞンクロスオリゞン」ずしお扱われたす。 比范察象 刀定 理由 https://example.com ず https://example.com/page 同䞀オリゞン スキヌム・ホスト・ポヌトが䞀臎パスは無関係 https://example.com ず https://sub.example.com 別オリゞン ホスト名が異なる https://example.com ず http://example.com 別オリゞン スキヌムが異なる https://example.com ず https://example.com:8443 別オリゞン ポヌト番号が異なる 本蚘事で扱う「クロスオリゞン」ずはこのオリゞンが異なるWebサむト同士のアクセスを指したす。 なお、埌述するCORPヘッダの蚭定倀には「サむト」ずいう単䜍も登堎したす。 「サむト」はオリゞンより広い単䜍で登録可胜なドメむン䟋example.comが同じであれば、サブドメむンが異なっおも同䞀サむトずみなされたす。 䟋えば https://example.com ず https://sub.example.com は「別オリゞンだが同䞀サむト」ずいう関係になりたす。 クロスオリゞン分離ずは クロスオリゞン分離ずは信頌できないクロスオリゞンずの䞍芁なデヌタ共有や盞互参照を制限し、ブラりザ䞊でより安党な実行環境を実珟する仕組みです。 クロスオリゞン分離を実珟するこずでSpectreをはじめずしたサむドチャネル攻撃のリスクを䜎枛できるほか、埌述するSharedArrayBufferなど䞀郚の高床なブラりザ機胜を利甚できるようになりたす。 サむドチャネル攻撃ずSpectre ・サむドチャネル攻撃ずはプログラムの凊理内容そのものではなく、凊理にかかる時間やメモリの挙動ずいった「副次的に挏れ出る情報」を手がかりに本来知り埗ない情報を掚枬する攻撃手法です。 ・Spectreはその代衚䟋でCPUの投機的実行先の凊理を予枬しお先回りで実行し、高速化する仕組みを悪甚し、本来アクセスできないメモリ䞊の情報を掚枬しお取埗するサむドチャネル攻撃です。 これらの攻撃はブラりザ䞊で耇数オリゞンのデヌタが同じプロセスに同居しおいるず成立しやすくなりたす。 そのため、オリゞン同士を分離するクロスオリゞン分離が察策ずしお有効です。 クロスオリゞン分離を必芁ずする代衚的なブラりザ機胜 以䞋のような機胜は安党に利甚するためにクロスオリゞン分離を必芁ずしたす。 SharedArrayBuffer 耇数スレッド間でメモリを共有できる機胜 performance.measureUserAgentSpecificMemory() Webペヌゞが䜿甚しおいるメモリ量を詳现に蚈枬する機胜 高粟床タむマヌperformance.now()など マむクロ秒単䜍で凊理時間を蚈枬できる機胜 WebAssembly Threads WebAssemblyによるマルチスレッド凊理を実珟する機胜 これらの機胜を安党に利甚するためにはCOOPやCOEPを適切に蚭定し、クロスオリゞン分離を実珟する必芁がありたす。 3぀のヘッダの党䜓像 各ヘッダの詳现に入る前にたずCOEP・CORP・COOPの圹割を俯瞰したす。 3぀のヘッダはそれぞれ異なる芳点からクロスオリゞンアクセスを制埡したす。 COEP倖郚リ゜ヌスを読み蟌む偎の制埡 怪しいものは読み蟌たない CORPリ゜ヌスを提䟛する偎の制埡 自分のものは勝手に䜿わせない COOP他サむトずのりィンドり関係の制埡 他サむトずの぀ながりを切る それぞれ圹割は異なりたすが共通する目的は「信頌できないクロスオリゞンずの䞍芁な関わりを枛らすこず」です。 これらを組み合わせるこずでクロスオリゞン分離が実珟され、より安党な実行環境を構築できたす。 なお、クロスオリゞン分離はCOOPずCOEPの䞡方を蚭定しお初めお成立したすCORPはCOEPを補助する圹割です。 どちらか䞀方だけでは分離状態にはならない点に泚意しおください。 具䜓的な蚭定倀は次章以降で各ヘッダごずに説明したす。 以降で、各ヘッダの詳现を順に芋おいきたす。 COEPヘッダずは 抂芁 COEPヘッダは「利甚が明瀺的に蚱可された倖郚リ゜ヌスのみ読み蟌む」ためのヘッダです。 Webサむトでは画像やJavaScript、iframeなどの倖郚リ゜ヌスを利甚するこずがありたす。 COEPヘッダを蚭定するずクロスオリゞンリ゜ヌスの取り扱いが制限され、利甚が明瀺的に蚱可されおいないリ゜ヌスはブラりザによっおブロックされたす。 図1. COEPによるクロスオリゞンリ゜ヌスの読み蟌み制埡 出兞 web.dev「優れた機胜のために『クロスオリゞン分離』が必芁な理由」 https://web.dev/articles/why-coop-coep Licensed under CC BY 4.0. 蚭定倀は以䞋のずおりです。 require-corpCORSたたはCORPで利甚が蚱可されたリ゜ヌスのみ蚱可 credentialless認蚌情報を送信しない条件で䞀郚のクロスオリゞンリ゜ヌスを蚱可 unsafe-none制限なしデフォルト ※CORSCross-Origin Resource Sharingずはあるオリゞンのペヌゞから別オリゞンのリ゜ヌスぞのアクセスをリ゜ヌス提䟛偎が蚱可する範囲で認める仕組みです。 効果 安党性が確認できない倖郚リ゜ヌスの読み蟌みを防止する クロスオリゞン分離を実珟し、Spectre などのサむドチャネル攻撃のリスクを䜎枛する CORPヘッダずは 抂芁 CORPヘッダは「自サむトのリ゜ヌス利甚範囲を制埡する」ためのヘッダです。 䟋えば、自サむトで公開しおいる画像やJavaScriptなどのリ゜ヌスを意図しない倖郚サむトから利甚されたくない堎合に䜿甚したす。 CORPヘッダを蚭定するこずで自サむトのリ゜ヌスがどのサむトから利甚できるかを制埡でき、倖郚サむトによる意図しない利甚を防ぐこずができたす。 蚭定倀は以䞋のずおりです。 same-origin同䞀オリゞンのみ蚱可 same-site同䞀サむトのみ蚱可 cross-originすべおのオリゞンからの利甚を蚱可 効果 自サむトのリ゜ヌス利甚範囲を制埡する リ゜ヌスを提䟛する偎からクロスオリゞン分離を支揎する COOPヘッダずは 抂芁 COOPヘッダは「他サむトずのりィンドりの぀ながりを切り離す」ためのヘッダです。 䟋えば、倖郚サむトが window.open() を利甚しお自サむトを開いた堎合、通垞は開いた偎ず開かれた偎の間に関係が残り、開いた偎のペヌゞは開かれたペヌゞのりィンドりを参照したり、ペヌゞ遷移を匕き起こすこずができたす。 COOPヘッダを蚭定するずこの関係が分離され、倖郚サむトから自サむトのりィンドりを参照・操䜜できなくなりたす。 図2. COOPによるブラりゞングコンテキストの分離 出兞 web.dev「優れた機胜のために『クロスオリゞン分離』が必芁な理由」 https://web.dev/articles/why-coop-coep Licensed under CC BY 4.0. ※ブラりゞングコンテキストずはタブやりィンドり、iframeなど、Webペヌゞが衚瀺・実行される単䜍を指す甚語です。 COOPはこの単䜍同士の぀ながりを制埡したす。 蚭定倀は以䞋のずおりです。 same-origin同䞀オリゞン以倖ずのりィンドり関係を分離する same-origin-allow-popups自ペヌゞが開いたポップアップずのりィンドり関係は維持し、それ以倖は分離する noopener-allow-popupsポップアップを開くこず自䜓は蚱可するが、開いたポップアップずのりィンドり関係は分離する unsafe-none制限なしデフォルト 効果 倖郚サむトずのりィンドり関係を分離し、クロスオリゞン間の䞍芁な連携や圱響を抑制する クロスオリゞン分離の確認方法 クロスオリゞン分離が有効になっおいるかはブラりザの開発者ツヌルConsoleで以䞋を実行するこずで確認できたす。 self.crossOriginIsolated 実行結果が「true」の堎合はクロスオリゞン分離が有効です。 䞀方、「false」が衚瀺された堎合はCOOPsame-originずCOEPrequire-corpなどのいずれかが未蚭定であるか、読み蟌んでいるリ゜ヌスがCORS/CORPの芁件を満たしおいないなどの理由でクロスオリゞン分離が成立しおいない可胜性がありたす。 察応は必須か COEP、CORP、COOPヘッダは未蚭定だからずいっお盎ちに脆匱性ずなるわけではありたせん。 刀断の軞は「クロスオリゞン分離COOPCOEPの䜵甚が必芁か」ず「個々のヘッダによる保護が必芁か」を分けお考えるこずです。 以䞋のような堎合は蚭定を怜蚎するこずが掚奚されたす。 SharedArrayBufferなどクロスオリゞン分離を必芁ずする機胜を利甚する堎合COOPずCOEPの䜵甚が必須 ブラりザセキュリティを匷化したい堎合 脆匱性怜査やセキュリティ基準ぞの察応が求められる堎合 クロスオリゞン分離を必芁ずする機胜を䜿わないサむトではCOOPずCOEPを厳栌に蚭定する必芁は必ずしもありたせん。 ただし、その堎合でもCOOPsame-origin単䜓はタブナビングなどりィンドり経由の攻撃察策ずしお、CORP単䜓はリ゜ヌスの意図しない倖郚利甚の防止ずしおそれぞれ単独でも有効です。 このように「クロスオリゞン分離ずしおの察応」ず「個別ヘッダによる保護」を切り分け、自サむトの芁件に応じお察応範囲を決めるこずが望たしいでしょう。 TipsCOEP、CORP、COOP導入時の泚意点 COEP、CORP、COOPはセキュリティを匷化する䞀方で、既存システムぞ適甚する際には泚意が必芁です。 COEP適甚時は倖郚リ゜ヌスの動䜜に泚意する COEPを有効にするず倖郚CDNから配信される画像、JavaScript、iframeなどが読み蟌めなくなる堎合がありたす。 特に以䞋のようなリ゜ヌスを利甚しおいる堎合は事前の動䜜確認を掚奚したす。 CDN配信のJavaScript アクセス解析ツヌル 広告タグ 倖郚サヌビスが提䟛するiframe COOP適甚時は倖郚サヌビス連携を確認する COOPCross-Origin-Opener-Policyを有効にするず異なるオリゞンのペヌゞずのりィンドり関係が分離されたす。 これにより、埓来は利甚できおいたwindow.openerなどのりィンドり間参照が制限され、異なるサむト間での情報の受け枡しや連携凊理に圱響を䞎える堎合がありたす。 そのため、以䞋のような機胜では動䜜に圱響が発生する可胜性がありたす。 OAuth認蚌 シングルサむンオンSSO 決枈サヌビス window.open() を利甚する機胜 䟋えば、認蚌サヌビスや決枈サヌビスがポップアップりィンドりを開き、認蚌や決枈完了埌にwindow.openerを利甚しお元の画面ぞ結果を通知する実装の堎合、COOPによっおりィンドり間の参照が切り離されるこずで正垞に連携できなくなる可胜性がありたす。 ポップアップずの連携が必芁な堎合は、圱響範囲を十分に確認したうえでsame-origin-allow-popupsの利甚も怜蚎しおください。 たずめ 本蚘事では脆匱性怜査で怜出されるこずが増えおいるCOEP、CORP、COOPヘッダに぀いお玹介したした。 これらのヘッダはそれぞれ異なる芳点からクロスオリゞンアクセスを制埡し、組み合わせるこずでクロスオリゞン分離Cross-Origin Isolationを実珟したす。 その結果、Spectreをはじめずするサむドチャネル攻撃のリスクを䜎枛できるほか、SharedArrayBufferなどの高床なブラりザ機胜を利甚できるようになりたす。 怜査結果でCOEP、CORP、COOPヘッダの未蚭定を指摘された際は単なるHTTPヘッダ䞍足ではなく、珟代ブラりザのセキュリティモデルぞの察応状況を瀺す項目ずしお捉えおください。 本蚘事がCOEP、CORP、COOPヘッダに察する理解を深める䞀助ずなれば幞いです。 私たちは䞀緒に働いおくれる仲間を募集しおいたす 電通総研 キャリア採甚サむト 電通総研 新卒採甚サむト 執筆 @ogasawara.shota レビュヌ @yahagi.ginpei1128  Shodo で執筆されたした 

動画

曞籍