「Elasticsearch」に関連する技術ブログ
企業やコミュニティが発信する「Elasticsearch」に関連する技術ブログの一覧です。
全186件中 16 - 30件目
バージョンアップ対応に苦労した過去の自分に送りたい7つの心得
2024/08/07
ブックマーク
こんにちは。 株式会社ココナラでバックエンド開発に従事するRKと申します。 みなさまはシステムのバージョンアップ対応をした経験はありますでしょうか？ システムの安定稼働に配慮して一定期間で実施している場合もあれば、利用しているライブラリや開発言語そのものの End Of Life（以降、EOL） によってバージョンアップを余儀なくされて実施した場合もあるでし
Elasticsearchによるマイクロサービス間検索の基盤をNetflixの事例を参考に構築した話
2024/08/06
ブックマーク
はじめに レバレジーズシステム本部 NALYSYSグループ テックリードの桐生です。 NALYSYSとは、ピープルマネジメントを支援する「 NALYSYSモチベーション管理 」や労務業務を効率化する「 NALYSYS労務管理 」などの機能を多数持った、人事労務に関わる課題を解決するためのSaaSです。 そんなNALYSYSでは、 今年4月に新たに「NALYSYS従業員ライブラリ」をリリースいたしました 。こ
PostgreSQLだけでElasticsearchのようなキーワード検索！ParadeDB触ってみた
2024/07/26
ブックマーク
はじめに こんにちは、エンジニアの長谷です。 最近社内でPostgreSQL拡張をRustで実装しているのですが、世の中でもRust製のPostgreSQL拡張がいろいろと開発されているようです。 今日はその中の1つParadeDBをご紹介します。 ParadeDBとは ParadeDBとはElasticsearchのような機能を持つPostgreSQL拡張で、Rustで実装されています。 似たような拡張としてはZomboDBがありますが、こちらはあく
生成AIのRAG構成を大手3社（AWS、Azure、Google Cloud）で徹底比較してみた
2024/07/24
ブックマーク
G-gen の堂原と又吉です。当記事では、 Amazon Web Services （AWS）、 Microsoft Azure 、 Google Cloud （旧称 GCP）が提供するフルマネージドな RAG サービスの比較を行います。 はじめに 当記事について RAG とは 3社比較 前提条件 機能比較 料金シミュレーション 想定シナリオ AWS Azure Google Cloud 総評 AWS Azure Google Cloud 詳細の解説 Knowledge bases for Amazon Bedrock（AWS）の詳細 構成図 プロダクト
週刊AWS – 2024/7/1週
2024/07/08
ブックマーク
みなさん、こんにちは。ソリューションアーキテクトの根本です。 今週も 週刊AWS をお届けします。 梅雨のはずですが、連日暑い日が続きますね・・・まだ気温に慣れておらず辛い日々が続きますが。みなさん、体調にお気をつけください。 それでは、先週の主なアップデートについて振り返っていきましょう。 今週は米国の祝日もありアップデートは少なめになって
GCE でハニーポット建ててみた
2024/06/25
ブックマーク
クラウドエース SRE 部のアイルトンです。 SRE 部の中で、セキュリティギルドのギルドマスターをしています。 ギルド活動の一環として、 Google Compute Engine (以降、GCE と表記) でハニーポットを構築してみんなで観察してみたので、その時の記録を共有したいと思います。 ハニーポットとは 不正なアクセスを受けることを前提として意図的に設置される「罠」のようなシス
Amazon OpenSearch Service と Amazon S3 のゼロ ETL 統合によるデータ可観測性のモダナイズ
2024/06/18
ブックマーク
本記事は、 Modernize your data observability with Amazon OpenSearch Service zero-ETL integration with Amazon S3 を翻訳したものです。翻訳は Solutions Architect の深見が担当しました。 私たちは、バージョン 2.13 以降のドメインでの Amazon OpenSearch Service の Amazon Simple Storage Service (Amazon S3) とのゼロ ETL 統合の 一般提供の開始を発表できることを喜ばしく思います。 この統合により、お客様は Amazon S3
ElasticsearchによるZOZOTOWNへのベクトル検索の導入検討とその課題
2024/06/12
ブックマーク
こんにちは。検索基盤部の橘です。ZOZOTOWNでは、商品検索エンジンとしてElasticsearchを利用し、大規模なデータに対して高速な全文検索を実現しています。 Elasticsearchに関する取り組みは以下の記事をご覧ください。 techblog.zozo.com 検索基盤部では、ZOZOTOWNの検索結果の品質向上を目指し、新しい検索手法の導入を検討しています。本記事ではベクトル検索と呼ばれる検索手法
新しいコンピューティング最適化 (C7i-Flex) Amazon EC2 Flex インスタンス
2024/05/20
ブックマーク
CPU を絶えず 100% の最大使用率で実行するアプリケーションはほとんどありません。ウェブアプリケーションを例にとってみましょう。使用率は需要が高い期間と低い期間で変動するのが一般的ですが、サーバーのコンピューティング能力をフルに活用することはめったにありません。 お客様が現在 AWS クラウドで実行している多くの一般的なワークロードの CPU 使用
ElasticsearchのFunction Score Queryのパフォーマンスを最適化する
2024/04/24
ブックマーク
search infra teamのmrkm4ntrです。我々の運用するElasticsearchにはFunction Score Queryを使ったリクエストが送られてきます。Function Score Queryはサブクエリのスコアに任意の関数を適用できるというもので、とても便利な機能ですが、同時にTop K(スコアが大きいものからK個を取得する場合)クエリ処理の最適化の恩恵を受けられなくなるという欠点もあります。この記事では、Function Score
Elastic Cloudの特権アカウント共用から脱却！
2024/03/27
ブックマーク
はじめに こんにちは、SRE部 検索基盤SREブロックの花房です。普段は、ZOZOTOWNの検索関連マイクロサービスにおけるQCD改善やインフラ運用を担当しています。 以前まで、検索基盤を支えるチームではElastic Cloudの特権アカウントをメンバーで共用していました。本記事では、2023年4月にリリースされた Elastic CloudのRBAC（Role-Based Access Control）機能 を活用して、特権アカウント
Apache Flink バージョン 1.18 が Amazon Managed Service for Apache Flink でサポートされました
2024/03/26
ブックマーク
Apache Flink は、ストリームおよびバッチ処理向けの、パワフルなプログラミングインターフェースを提供するオープンソースの分散処理エンジンです。ステートフルな処理やイベントタイムセマンティクスをサポートしています。Apache Flink は、複数のプログラミング言語、Java、Python、Scala、SQL、および異なる抽象化レベルの複数の API をサポートしています。これらを単一
LINE MUSICのプレイリスト認識機能を改善した話
2024/03/25
ブックマーク
こんにちは。LINE MUSICのサーバサイドエンジニアをしている森です。 LINE MUSICでは（主に他社の）音楽サービスのプレイリストの画像から曲を認識し、曲をプレイリストに取り込む機能がありま...
LangChainのAgentExecutorを使って生成AIのAgentにデータ分析をさせてみた
2024/02/19
ブックマーク
はじめに こんにちは！昨年9月からInsight Edgeの開発チームに参画した広松です。Insight Edgeでは生成AI案件を担当しています。 参画してからまだ間もないですが、技術選定や顧客との調整を含む多くの業務を裁量を持って自由にできるところが良いと感じています。また、Insight Edgeでは業務時間の10%を勉強会などの自己啓発に充てることが奨励されています。この文化のおか
Elasticsearchのパフォーマンス問題をプロファイラを使って解決する
2024/02/14
ブックマーク
search infra teamのmrkm4ntrです。我々のチームではElasticsearchをKubernetes上で多数運用しています。歴史的経緯によりElasticsearchのクラスタは全てElasticsearchクラスタ専用のnode pool上で動作していました。ElasticsearchのPodは使用するリソースが大きいため、このnode poolのbin packingが難しくコストを最適化できないという問題がありました。そこで全てのElasticsearchクラスタを専用のnode poo