こんにちは。検索領域でエンジニアをやっております、shinpeiです。 本記事は 連載企画：メルカリ初の世界共通アプリ「メルカリ グローバルアプリ」の開発舞台裏 の一環として、メルカリグローバルアプリの検索バックエンドをスクラッチで開発することに伴い、大事にした設計のポイントをご紹介します。また今回の新たな要求を契機に既存の検索基盤の拡充が必要だったのでそれについても書かせていただきました。 グローバルアプリでの検索の要件と課題 先日、弊社からの発表の通り、メルカリはグローバルアプリの提供を開始しました。

はじめに 2025年度のBuild@Mercariに参加し、メルカリ ハロのMLチームでインターンをしている＠Ariaと@Ririkoです。私たちはメルカリ ハロの求人のリスク予測に取り組みました。この記事では、インターンで取り組んだこと・感想などについて書いていきたいと思います！ 自己紹介 ＠Aria こんにちは！大学１年の＠Ariaです。私は高校生の時Build@Mercariに参加し、夏休みでBuildインターンをしています！機械学習・AIについて学んでみたいと思い、メルカリハロのMLに応募しました

はじめまして！一橋大学SDS研究科 修士1年の佐藤祥太 ( @Shota_Sato01 ) です。今回私は8月のCA Tech JOBインターンに参加させていただきました！ この記事では、配属先のAI Shiftでの取り組みについてご紹介させていただきます！ 配 属部署について 今回のインターンでは、AI Shiftに配属になりました。「人とAIの協働を実現し人類に生産性革命をもたらす」というMISSIONのもと、AIエージェントやVoiceBotの開発に取り組んでいます。 ビジネスサイドとエンジニアサイ

ニューラル機械翻訳の研究動向　 【連載】自然言語処理の研究動向　第2回 2025.8.19 株式会社Laboro.AI　リードMLリサーチャー　趙 心怡 リードマーケター　熊谷勇一 英語版（English version）は こちら 。 概　要 2017年以降、ニューラル機械翻訳（Neural Machine Translation, NMT）においてTransformerアーキテクチャが主流となり、XLM（Cross-lingual Language Model）、mBART（Multilingual

ニューラル機械翻訳の研究動向　【連載】自然言語処理の研究動向　第2回 2025.8.19 株式会社Laboro.AI　リードMLリサーチャー　趙 心怡 リードマーケター　熊谷勇一 概　要 2017年以降、ニューラル機械翻訳（Neural Machine Translation, NMT）においてTransformerアーキテクチャが主流となり、XLM（Cross-lingual Language Model）、mBART（Multilingual BART）、mT5（Multilingual T5）といっ

目次 はじめに 対象読者 対象バージョン 検索の準備 1. インデックスの作成 2. インデックスのマッピング設定 3. モデルの準備 4. インジェストパイプラインの作成 5. インジェストパイプラインの確認 6. データの登録 6.1 NDJSONの用意 6.2 一時インデックスへのアップロード 6.3 _reindexの実行 6.4 タスクの完了確認 6.5 _refreshの実行 登録データのストレージ利用量確認 ベクトル検索の実行 rescore_vector を行わないベクトル検索 resco

Elasticsearchの標準アナライザーは  Kuromoji  ですが、他にも日本語向けのアナライザーが存在します。本記事では  Sudachi  や  MeCab 、およびPythonライブラリの  Janome 、そして  LLM（GPT-4）  といった選択肢を比較し、どんな場面でどれを使うべきかを検討しました。 なお、Elasticsearch 9.xではSudachiやMeCabの公式対応プラグインはまだリリー

目次 はじめに 対象読者 環境 Elasticsearch同梱モデル vs 外部モデル Elasticsearch同梱の Model を利用する場合 Elasticsearchの外部のEmbed Modelを利用する場合 比較表 Elasticsearchで密ベクトル生成に利用可能なサービス 準備 Cohere API Key の取得 Machine Learning インスタンス /_inference/text_embedding/用エンドポイントの作成 インデックスの作成 マッピングの作成 ドキュメ

目次 はじめに 対象者 前提条件 ドキュメントレベルセキュリティの概要 サンプルアプリ ソースコードの取得方法 インデックスの作成 インデックスへのマッピングの登録 ドキュメントの登録 APIキーの発行 ElasticsearchエンドポイントURLの取得 ビルド～コンテナとの接続 ビルド コンテナの起動 コンテナとの接続 サンプルプログラムの実行 ログイン画面の表示 ユーザーごとの動作確認 user1での動作確認 user2での動作確認 user3での動作確認 user4での動作確認 関連情報 Conn

目次 はじめに 対象者 できるようになること ロール(Role)の作成 ユーザー(User)の作成 インデックスの作成 インデックスのフィールドの作成 インデックスへのエイリアスの作成 ドキュメントの登録 ユーザーごとの動作確認 まとめ はじめに Elasticsearchのインデックスに対するアクセス制御（概要 ） で Elasticsearch におけるロールベースのアクセス制御（RBAC）の概要について説明しました。 今回は、実際にロールとユーザーを作成して、Kibana上での実際の動作を確認してい

開発本部のデータ&AIチームでデータサイエンティストをしている古濵です。 今回は、挑戦WEEKで実装した「レシピ材料の同義語辞書自動化」をLLMで実装した内容をまとめます。 挑戦WEEKに関しては、以下の記事をご覧ください。 tech.every.tv 背景 ユーザーのクエリによって、同じ意味を表す言葉でも異なる単語が使われることがあります。 デリッシュキッチンを題材に例を挙げると「鶏もも肉」「とりもも肉」「鳥もも肉」などです。 これらの単語同士を同義語（シノニム）、これらの同義語を対応づけたもの

ECサイトの売上データをもっと活用したいけれど、「SQLでは集計が遅い」「全文検索を使った分析は難しい」「BIツールでは柔軟性に欠ける」と感じたことはありませんか？ そんな課題を一気に解決するのが、 Elasticsearch × Kibana Lens  です。 本記事では、CSV をドラッグ＆ドロップするだけで、 高速かつ柔軟に購買データを可視化・分析 する手順を、サンプルデータと実例つきでわかりやすく紹介します。 目次 記事のポイント 1. SQLと何が違う？Elasticの強みを整理 2

目次 1. 前書き 対象者 できるようになること 前提条件 2. セマンティックリランク 2.1. セマンティックリランクとは？ 2.2. セマンティックリランクの概念図 2.3. セマンティックリランクの方法 2.4. セマンティックリランクのメリットとデメリット 3. Elasticsearch でのセマンティックリランク 3.1. セマンティックリランク利用時のおおまかな手順 3.2. Elasticsearch で利用可能なセマンティックリランカー 3.3. Cohere Rerank v3.5

目次 1. 前書き 対象者 できるようになること 前提条件 2. メタデータ 2.1. メタデータとは？ 2.2 メタデータを考慮しない検索 2.3. メタデータを活用した検索 3. メタデータによるフィルタリングを考慮した検索テンプレート 4. サンプルソース 5. 実行例 5.1. メタデータを使わずに検索した場合 5.2. メタデータを活用して検索した場合 5.3. メタデータを使わずにRAGを行った場合 5.4. メタデータを活用してRAGを行った場合 6. 参考情報 7. まとめ 1. 前書き

OpenSearch は、フルテキスト検索や分析機能を提供するオープンソースの検索エンジンです。 OpenSearch Project によって開発され、Apache 2.0 ライセンスのもとで提供されています。2021 年に 発足 した OpenSearch Project は、2022 年にバージョン 2.0 がリリースされて以降、6 週間ごとのアップデートサイクルの元、19 のマイナーバージョンをリリースしてきました。2024 年にはLinux Foundationへの移管も完了し、2025 年 5