目次 はじめに 対象読者 対象バージョン 検索の準備 1. インデックスの作成 2. インデックスのマッピング設定 3. モデルの準備 4. インジェストパイプラインの作成 5. インジェストパイプラインの確認 6. データの登録 6.1 NDJSONの用意 6.2 一時インデックスへのアップロード 6.3 _reindexの実行 6.4 タスクの完了確認 6.5 _refreshの実行 登録データのストレージ利用量確認 ベクトル検索の実行 rescore_vector を行わないベクトル検索 resco

Elasticsearchの標準アナライザーは  Kuromoji  ですが、他にも日本語向けのアナライザーが存在します。本記事では  Sudachi  や  MeCab 、およびPythonライブラリの  Janome 、そして  LLM（GPT-4）  といった選択肢を比較し、どんな場面でどれを使うべきかを検討しました。 なお、Elasticsearch 9.xではSudachiやMeCabの公式対応プラグインはまだリリー

目次 はじめに 対象読者 環境 Elasticsearch同梱モデル vs 外部モデル Elasticsearch同梱の Model を利用する場合 Elasticsearchの外部のEmbed Modelを利用する場合 比較表 Elasticsearchで密ベクトル生成に利用可能なサービス 準備 Cohere API Key の取得 Machine Learning インスタンス /_inference/text_embedding/用エンドポイントの作成 インデックスの作成 マッピングの作成 ドキュメ

目次 はじめに 対象者 前提条件 ドキュメントレベルセキュリティの概要 サンプルアプリ ソースコードの取得方法 インデックスの作成 インデックスへのマッピングの登録 ドキュメントの登録 APIキーの発行 ElasticsearchエンドポイントURLの取得 ビルド～コンテナとの接続 ビルド コンテナの起動 コンテナとの接続 サンプルプログラムの実行 ログイン画面の表示 ユーザーごとの動作確認 user1での動作確認 user2での動作確認 user3での動作確認 user4での動作確認 関連情報 Conn

目次 はじめに 対象者 できるようになること ロール(Role)の作成 ユーザー(User)の作成 インデックスの作成 インデックスのフィールドの作成 インデックスへのエイリアスの作成 ドキュメントの登録 ユーザーごとの動作確認 まとめ はじめに Elasticsearchのインデックスに対するアクセス制御（概要 ） で Elasticsearch におけるロールベースのアクセス制御（RBAC）の概要について説明しました。 今回は、実際にロールとユーザーを作成して、Kibana上での実際の動作を確認してい

開発本部のデータ&AIチームでデータサイエンティストをしている古濵です。 今回は、挑戦WEEKで実装した「レシピ材料の同義語辞書自動化」をLLMで実装した内容をまとめます。 挑戦WEEKに関しては、以下の記事をご覧ください。 tech.every.tv 背景 ユーザーのクエリによって、同じ意味を表す言葉でも異なる単語が使われることがあります。 デリッシュキッチンを題材に例を挙げると「鶏もも肉」「とりもも肉」「鳥もも肉」などです。 これらの単語同士を同義語（シノニム）、これらの同義語を対応づけたもの

ECサイトの売上データをもっと活用したいけれど、「SQLでは集計が遅い」「全文検索を使った分析は難しい」「BIツールでは柔軟性に欠ける」と感じたことはありませんか？ そんな課題を一気に解決するのが、 Elasticsearch × Kibana Lens  です。 本記事では、CSV をドラッグ＆ドロップするだけで、 高速かつ柔軟に購買データを可視化・分析 する手順を、サンプルデータと実例つきでわかりやすく紹介します。 目次 記事のポイント 1. SQLと何が違う？Elasticの強みを整理 2

目次 1. 前書き 対象者 できるようになること 前提条件 2. セマンティックリランク 2.1. セマンティックリランクとは？ 2.2. セマンティックリランクの概念図 2.3. セマンティックリランクの方法 2.4. セマンティックリランクのメリットとデメリット 3. Elasticsearch でのセマンティックリランク 3.1. セマンティックリランク利用時のおおまかな手順 3.2. Elasticsearch で利用可能なセマンティックリランカー 3.3. Cohere Rerank v3.5

目次 1. 前書き 対象者 できるようになること 前提条件 2. メタデータ 2.1. メタデータとは？ 2.2 メタデータを考慮しない検索 2.3. メタデータを活用した検索 3. メタデータによるフィルタリングを考慮した検索テンプレート 4. サンプルソース 5. 実行例 5.1. メタデータを使わずに検索した場合 5.2. メタデータを活用して検索した場合 5.3. メタデータを使わずにRAGを行った場合 5.4. メタデータを活用してRAGを行った場合 6. 参考情報 7. まとめ 1. 前書き

OpenSearch は、フルテキスト検索や分析機能を提供するオープンソースの検索エンジンです。 OpenSearch Project によって開発され、Apache 2.0 ライセンスのもとで提供されています。2021 年に 発足 した OpenSearch Project は、2022 年にバージョン 2.0 がリリースされて以降、6 週間ごとのアップデートサイクルの元、19 のマイナーバージョンをリリースしてきました。2024 年にはLinux Foundationへの移管も完了し、2025 年 5

1. 前書き こんにちは。 前回に引き続き、ホワイトペーパー「Elasticsearchを使った簡易RAGアプリケーションの作成」に 記載した技術的要素を紹介いたします。（*脚注1 1 ） 今回は N-gram 検索です。 前半(Part 1)と後半(Part 2)の2回に分けて紹介します。 前半は N-gram 検索の基本的な考え方について、後半は実践的なサンプルアプリについて紹介します。 なお、今回使用した Elasticsearch のリクエストは、下記の GitHub リポジトリで公開しています。

1. 前書き こんにちは。 前回に引き続き、ホワイトペーパー「Elasticsearchを使った簡易RAGアプリケーションの作成」に 記載した技術的要素を紹介いたします。（*脚注1 1 ） 今回は、同義語の利用です。 対象者 Elastic Cloud のアカウントをお持ちの方（トライアルライセンスを含む） Elasticsearch の初心者～中級者 できるようになること Elasticsearch に同義語の登録ができる。 Elasticsearch で同義語を考慮した検索を実行できる。 前提条件 E

1. 前書き こんにちは。 前回に引き続き、ホワイトペーパー「Elasticsearchを使った簡易RAGアプリケーションの作成」（*脚注1 1 ）に記載した技術的要素を紹介いたします。 今回は、ユーザー辞書登録についてです。 対象者 Elastic Cloud のアカウントを持っている人（トライアルライセンスを含む） Elasticsearch の初心者～中級者 できるようになること Elasticsearch のユーザー辞書への登録ができるようになる。 Elasticsearch でユーザー辞書に登録

はじめに こんにちは、デリッシュキッチン開発部でソフトウェアエンジニアをしている新谷です。 エブリーの開発部では「挑戦week」という1週間の期間限定チャレンジを定期的に開催しています。これは日常業務から離れて、新しい技術やアイデアに挑戦する取り組みです。 今回は、この挑戦week期間中にデリッシュキッチンの検索基盤をElasticsearchからOpenSearchへ移行する挑戦を行いましたので、その内容を紹介します。 ※ 挑戦weekの詳細については過去の記事で紹介していますので、興味のある方は以下を

みなさん、こんにちは。ソリューションアーキテクトの杉山です。今週も 週刊AWS をお届けします。 4 月 3 日 (木) 14:00-16:00 に、 流通小売/消費財/EC 企業向けのオンラインセミナー を開催します。 リテールテック JAPAN は、開催 41 回目を迎える国内最大の流通業向け情報システム総合展示会（日本経済新聞社主催）です。こちらの展示会に AWS が 8 年ぶりに出展しました。オンラインセミナーでは、AWS ブースの展示テーマ、展示デモのバーチャル・ブースツアー、ミニシアターで行わ