キャプションやタグがなくても、テキストで近い画像を検索できる。そんな仕組みを、ElasticsearchとAIを組み合わせ試作しました。画像資産の整理や業務効率化に役立ちます。 Elasticsearch を選んだ理由はシンプルです。 ベクトル検索に強い： 画像やテキストを CLIP で 512 次元ベクトルに変換し、それをそのまま保存して KNN 検索できる。 スケールに強い： 最初は手元の16枚の画像でも、将来的に何千・何万枚に増えても同じ仕組みで動かせる。 検索をカスタマイズできる： 近似検索（速さ

目次 はじめに 対象読者 対象バージョン 検索の準備 1. インデックスの作成 2. インデックスのマッピング設定 3. モデルの準備 4. インジェストパイプラインの作成 5. インジェストパイプラインの確認 6. データの登録 6.1 NDJSONの用意 6.2 一時インデックスへのアップロード 6.3 _reindexの実行 6.4 タスクの完了確認 6.5 _refreshの実行 登録データのストレージ利用量確認 ベクトル検索の実行 rescore_vector を行わないベクトル検索 resco

はじめに こんにちは、MNTSQ株式会社でSREをやっている西室と申します。私生活ではゲーム以外でPCを使わないので、最新技術へのアンテナ感度はエンジニアとしては最低クラスです。未だに タッチタイピング ができません。 さて、最近巷では「生成AIがすごい」だの「使えないと時代に取り残される」だの、何かと話題が尽きないですが、まだ業務にうまく活用できていないという方も多いのではないでしょうか？ かくいう私も「なんか調べるのが億劫だな〜」と、ChatGPT以外には手を出していなかったのですが、半年ほど前に開発

目次 はじめに 対象読者 対象バージョン 量子化を利用しない密ベクトル検索 量子化を行わない場合のストレージ ベクトル検索に必要なメモリ量 量子化を利用した密ベクトル検索 量子化の種類 量子化を行う場合のストレージ ベクトル検索に必要なメモリ量 量子化のメリット・デメリット メリット デメリット まとめ 次回予告 はじめに Elasticsearchで密ベクトル検索を行う場合、Elasticsearch 9.0から bbq_hnsw を使った検索がデフォルトになりました。 このブログでは、 bbq_hns

目次 はじめに 対象読者 Elastic 認定試験 Elastic Security for SIEM のトレーニングコース トレーニング用 Kibana 画面へのアクセス方法 Lab 環境の開始 lab-machine の bash 画面とURLの確認 CREDENTIALS の取得 Lab 環境のURLへアクセス Kibana 画面へのログイン Kibana の Home 画面の表示 演習問題の表示 CTFd の URL の取得 CTFd へのアクセス 初回登録手順 ログイン（２回目以降） CTFd

「社内のドキュメントを、ChatGPTのように対話形式で検索できたら…」 「ノーコードツールでプロトタイプを作りたいけど、検索精度が物足りない…」 そんな悩みを抱える業務改善担当者の方へ。本記事では、オープンソースのワークフロー自動化ツール n8n と、強力な検索エンジン Elasticsearch を組み合わせ、実用的な RAG システムを構築する方法を説明します。 完成後のAIチャットボットが、以下のようなものになります。 データ検索: 映画のタイトル、監督、ジャンル、あらすじなど、複数の要素を横断し

Search Infra Teamのmrkm4ntrです。 画像検索にElasticsearchのベクトル検索(kNN検索)を活用しています。しかし、従来のキーワード検索と比較して、同等のリソースで処理できるQPS（Queries Per Second）が大幅に低いという課題がありました。そこで、Elasticsearch 8を基に、kNN検索のパフォーマンスをどこまで改善できるのかを調査しました。 kNN検索の構成と課題 今回の検証で使用したkNN検索のクエリ構成は以下の通りです。 { "si

Elasticsearchの標準アナライザーは  Kuromoji  ですが、他にも日本語向けのアナライザーが存在します。本記事では  Sudachi  や  MeCab 、およびPythonライブラリの  Janome 、そして  LLM（GPT-4）  といった選択肢を比較し、どんな場面でどれを使うべきかを検討しました。 なお、Elasticsearch 9.xではSudachiやMeCabの公式対応プラグインはまだリリー

目次 はじめに 対象読者 環境 Elasticsearch同梱モデル vs 外部モデル Elasticsearch同梱の Model を利用する場合 Elasticsearchの外部のEmbed Modelを利用する場合 比較表 Elasticsearchで密ベクトル生成に利用可能なサービス 準備 Cohere API Key の取得 Machine Learning インスタンス /_inference/text_embedding/用エンドポイントの作成 インデックスの作成 マッピングの作成 ドキュメ

目次 はじめに 対象者 前提条件 ドキュメントレベルセキュリティの概要 サンプルアプリ ソースコードの取得方法 インデックスの作成 インデックスへのマッピングの登録 ドキュメントの登録 APIキーの発行 ElasticsearchエンドポイントURLの取得 ビルド～コンテナとの接続 ビルド コンテナの起動 コンテナとの接続 サンプルプログラムの実行 ログイン画面の表示 ユーザーごとの動作確認 user1での動作確認 user2での動作確認 user3での動作確認 user4での動作確認 関連情報 Conn

駅メモ！チームでエンジニアをしている id:stakHash です。 開発活動に関わるデータを収集し、開発生産性を測るためのメトリクス（便宜的に「開発メトリクス」と呼びます）を可視化するための仕組みを作りました。 その目的や設計などについてまとめました。 どんなものを作ったのか なぜ作ったのか どう作ったのか どう使っているのか まとめ どんなものを作ったのか 開発生産性を測るためのデータを簡単に収集し、可視化するためのダッシュボードです。 画像はごく一部ですが、このようなグラフの形で各種メトリクスを見る

目次 はじめに 対象者 できるようになること 前提条件 接続方法 サンプルプログラムのソースコードの取得 Elasticsearch の Endpoint URL の取得 API Key の作成 ビルド～ コンテナとの接続 ビルド コンテナの起動 コンテナとの接続 サンプルプログラムの実行 ログイン画面の表示 ユーザーごとの動作の確認 まとめ はじめに Elasticsearchのインデックスに対するアクセス制御（Kibana上での動作確認） では、Kibana にログインしたユーザーで各インデックスに対

目次 はじめに 対象者 できるようになること ロール(Role)の作成 ユーザー(User)の作成 インデックスの作成 インデックスのフィールドの作成 インデックスへのエイリアスの作成 ドキュメントの登録 ユーザーごとの動作確認 まとめ はじめに Elasticsearchのインデックスに対するアクセス制御（概要 ） で Elasticsearch におけるロールベースのアクセス制御（RBAC）の概要について説明しました。 今回は、実際にロールとユーザーを作成して、Kibana上での実際の動作を確認してい

目次 はじめに 対象者 なぜインデックスレベルのアクセス制御が必要なのか？ Elasticsearchにおけるインデックスアクセス制御の仕組み 1. ロール (Role) の定義 2. ユーザー (User) の作成とロールの割り当て 主要な権限（Privileges）の種類 まとめ はじめに Elasticsearchは、その柔軟性とスケーラビリティから、多種多様なデータを扱うための中心的なプラットフォームとして多くの企業で利用されています。 しかし、データ量が増え、利用者が多様化するにつれて、「誰がど

こんにちは、MNTSQで アルゴリズム エンジニアをやっている平田です。 MNTSQではAIで企業の契約業務を変革するプロダクトを開発しています。 mntsq.co.jp ところでみなさん、 MCP （Model Context Protocol）使っていますか？ 2024年11月にAnthropicがMCPを提唱 してから半年しか経っていないのに、 MCP を取り巻くAIエージェント開発のエコシステムは爆発的なスピードで成長を遂げています。 （実際、この記事を書いている最中にアップデートがあって、何度か