はじめに こんにちは。プラットフォームエンジニアリングチームに所属している徳富( @yannKazu1 )です。 先日、本番環境でドキュメントの大規模更新を行った際にCPUが100%に張り付く事象が発生しました。検証環境で同じ更新処理を試しても再現せず、原因がわからない。そこで「そもそも自分、Elasticsearchの中で何が起きてるかちゃんと理解してないな」と気づき、インデキシングから検索までの仕組みを一から整理してみました。 同じように「なんでこうなるの？」と悩んでいる方の助けになれば嬉しいです。

RAG＝ベクトルDBは誤解。BM25、Web検索、GraphRAGなど7つの手法を比較表で整理。データ規模・コスト・精度での選び方を解説します。 はじめに 「RAGを導入したい」という話になると、多くの場合「じゃあベクトルDBを選定しなきゃ」という流れになります。 弊社でもRAG構築・導入支援サービスを提供しており、RAGについて説明する機会が多くあります。その中で「RAG」と「ベクトル検索」を同じ文脈で質問されることがよくあります。 確かに、トレンドとしてRAGとベクトル検索を同じ文脈で語ることは間違い

目次 はじめに 開発環境 構成図 事前準備 リポジトリの取得と展開 環境変数の設定 コンテナの起動 EDOT Collector の設定 5.1. Python コンテナへの接続 5.2. EDOT Collector のダウンロード Elasticsearch との連携設定 6.1. System OpenTelemetry Assets の有効化 6.2. API Key の生成 6.3. otel.yml の編集 6.4. EDOT Collector の起動 Python アプリのトレース取得 7

はじめに Datadog には Notebook というものがあります。以前から存在する機能であり、目新しいものではありません。 詳細は公式のドキュメントが詳しいのですが、Datadog で取り扱えるログやメトリックなどを埋め込める ドキュメンテーション ツールという捉え方で然程ズレは無いはずです。単にログやメトリックを追うという意味ではダッシュボード *1 も使え、 継続的な観測をする場合は ダッシュボードのほうが断然よいです。 いっぽうでこういった課題感もあると思います。すくなくとも私は常々あります。

目次 はじめに 開発環境 事前準備 メインデータの用意（Sample web logs） 国マスタのインポート Lookup Index への変換 【実践】ES|QL での集計比較 Lookup Join なし（国コードのみ） Lookup Join あり（国名を結合） まとめ 参考資料 添付資料：country_list.csv はじめに これまで Elasticsearch で「メインのインデックスに、別インデックスの情報を紐付けて表示したい」場合、Enrich Processor を使用して、取り込

こんにちは AIチームの戸田です 今回は文章検索をひとつのパッケージで実現できる txtai を紹介したいと思います。 LLMは強力ですが、手元の社内資料や議事録などの固有データに関する質問には回答することができません。そこで重要になるのがRAG（Retrieval Augmented Generation）です。 固有データを検索し、関連コンテキストを取り出してPromptとしてLLMに渡すことで、固有データに関する質問に対しても回答することができるようになります。実務での活用において、現在も多くの企業

はじめに Excel、WordやPower Pointなどの社内文書を検索して質問に答えるAIエージェントを実現できないか調べてみたところ、全文検索サーバーのFessとOpenSearchのMCPサーバーを使えば簡単に実現できるのではと思い、試してみました。 Fessとは Fessとは、Webサイトやファイルサーバー内のデータを自動収集して高速な全文検索を可能にする、オープンソースの全文検索サーバーです。検索エンジンとしてOpenSearchまたはElasticsearchを選択可能です。 オープンソース

こんにちは。LINEヤフーの永吉です。今回は2025年の締めくくりとして開催した「LINEヤフー Developer Meetup #2 in Fukuoka」の様子を振り返ります。イベント概要12月...

.table-of-contents > li > ul > li > ul { display: none; } はじめに こんにちは、SRE部 検索基盤SREブロックの 花房 です。2025年12月11日に東京の虎ノ門で開催された「 OpenSearchCon Japan 2025 」にZOZOのエンジニア5人が参加しました。本記事では、会場の様子と印象に残ったセッションについて紹介します。 はじめに OpenSearchCon Japanとは 会場の様子 セッションレポート Maximize Res

「Azure」上に、Elasticsearch、Kibana、Fleet Serverを含むElastic Stackの検証環境を「Self-Managed」方式で構築するための詳細な手順書（ホワイトペーパー： Azure上へのElastic検証環境構築手順書（Self-Managed版) ）を公開しました。 ホワイトペーパーのダウンロードはこちらから なぜSelf-Managedなのか？ Elasticの環境をAzure上に構築する方法には、主に4つの選択肢があります。Elastic Cloud Hos

情報源: Elastic公式サイト – ブラジル警察機関の顧客事例 目次 はじめに 導入前の課題 時間のかかるデータベース検索 スケーラビリティの問題 Elasticsearch導入によるソリューション ベクトルデータベースを活用した顔認証システム カスタムモバイル・ウェブアプリケーションとElasticsearchの連携 導入効果 検索時間の大幅な短縮 犯罪者の迅速な特定と逮捕 市民サービスの向上 現場での捜査活動の強化 技術的アーキテクチャの特徴 大規模データ処理能力 高速ベクトル検索 ま

はじめに こんにちは。株式会社エブリーの開発1部の村上です。 この記事は every Tech Blog Advent Calendar 2025 の 19日目の記事です。 弊社では各チームでアラートやインシデントの対応をしており、発生から調査までを各エンジニアが自ら行なっています。その調査自体はナレッジが溜まりつつあるものの、この時代であればよりAIを活用して、迅速な調査やサービス復旧ができないのかという疑問は常にありました。 そんな中で、Datadogから 最近GAされたBits AI SRE という

この記事は CADDi Tech/Product Advent Calendar 2025 14日目の記事です。 Executive Summary 生成 AI アプリで評価プロセス改善 PoC をした 評価制度をアセット化し、生成 AI ツールを組み合わせることによって、評価プロセスを支援した 「メンバーの思考の整理」「メンバーからマネージャーへのコミュニケーションの改善」というポジティブな効果が得られた （画像は実際のシステム、入力されているテキストは架空の人物・チーム・業務） はじめに キャディのエ

こんにちは。メルカリでエンジニアリングマネージャーとして働いています @tokkuu です。 この記事は、 Mercari Advent Calendar 2025 の12日目の記事です。 今回は、私たちのAds事業が急成長する過程で直面したシステム課題と、それを乗り越えるために立ち上げたプロジェクト「PJ-MARP」について紹介します。 「PJ-MARP」は “Make Ads Robust and Profitable” の略称で、Adsシステムを「堅牢（Robust）」かつ「収益性の高い（Profi

目次 はじめに 再帰チャンキング (Recursive Chunking) とは 概略 分割のイメージ Recursive Chunkingによる分割結果 参考URL 実践：インデキシング 1. 準備 2. Inference Endpoint の作成 3. インデックスの作成 4. マッピングの追加 5. ドキュメントの取り込み 6. データの反映 実践：検索と結果検証 ケース1. 表データの検索 考察 比較：Sentence Chunking の場合 ケース2. 階層が深いブロックの検索 比較：Wor