「Elasticsearch」に関連する技術ブログ
企業やコミュニティが発信する「Elasticsearch」に関連する技術ブログの一覧です。
全152件中 1 - 15件目
Elastic Cloudの特権アカウント共用から脱却！
2024/03/27
ブックマーク
はじめに こんにちは、SRE部 検索基盤SREブロックの花房です。普段は、ZOZOTOWNの検索関連マイクロサービスにおけるQCD改善やインフラ運用を担当しています。 以前まで、検索基盤を支えるチームではElastic Cloudの特権アカウントをメンバーで共用していました。本記事では、2023年4月にリリースされた Elastic CloudのRBAC（Role-Based Access Control）機能 を活用して、特権アカウント
Apache Flink バージョン 1.18 が Amazon Managed Service for Apache Flink でサポートされました
2024/03/26
ブックマーク
Apache Flink は、ストリームおよびバッチ処理向けの、パワフルなプログラミングインターフェースを提供するオープンソースの分散処理エンジンです。ステートフルな処理やイベントタイムセマンティクスをサポートしています。Apache Flink は、複数のプログラミング言語、Java、Python、Scala、SQL、および異なる抽象化レベルの複数の API をサポートしています。これらを単一
LINE MUSICのプレイリスト認識機能を改善した話
2024/03/25
ブックマーク
こんにちは。LINE MUSICのサーバサイドエンジニアをしている森です。 LINE MUSICでは（主に他社の）音楽サービスのプレイリストの画像から曲を認識し、曲をプレイリストに取り込む機能がありま...
Elasticsearchのパフォーマンス問題をプロファイラを使って解決する
2024/02/14
ブックマーク
search infra teamのmrkm4ntrです。我々のチームではElasticsearchをKubernetes上で多数運用しています。歴史的経緯によりElasticsearchのクラスタは全てElasticsearchクラスタ専用のnode pool上で動作していました。ElasticsearchのPodは使用するリソースが大きいため、このnode poolのbin packingが難しくコストを最適化できないという問題がありました。そこで全てのElasticsearchクラスタを専用のnode poo
Amazon OpenSearch Service の設定変更が、新たな視認性の改善でより簡単に追跡可能に
2024/02/07
ブックマーク
Amazon OpenSearch Service は、ワークロード固有の要件を満たすための複数のドメイン 設定 を提供しています。標準的なサービス運用の一環として、これらの設定を定期的に更新する必要がある場合があります。最近、Amazon OpenSearch Service は設定変更をより効果的に追跡できるようにする 視認性の改善 を行いました。詳細でより説明的な設定ステータスを導入することで、アラ
Practicing Observability with Grafana from a BE Engineer's Perspective
2024/01/16
ブックマーク
Introduction Hello! I am Jeong, and I am a member of KINTO Technologies' New Vehicle Subscription Development Group. Our daily work goes beyond just writing code. As technology evolves, it is important to adapt to new trends such as microservices and serverless architecture while maintaining a healthy system. After reading this article, you will understand the importance of observability and how Grafana is used to monitor systems and optimize performance. About Observability Observability re
検索エンジンをVespaへ移行しています
2023/12/21
ブックマーク
検索エンジンをVespaへ移行しています こんにちは、スタンバイで検索周りの開発を担当している鷹取です。 今回はスタンバイで利用している検索エンジンをVespaへ移行している話を紹介します。 検索エンジン移行の背景 Stanby Tech Blogの スタンバイ2+1年の軌跡 の記事で説明されている通り、 スタンバイでは、主に求人検索機能を提供していますが、その中でもオーガニッ
BEエンジニア視点のGrafanaによるObservabilityの実践
2023/12/04
ブックマーク
はじめに こんにちは！ KINTOテクノロジーズの新車サブスク開発グループに所属している丁(Jeong)です。 私たちの日々の業務は、ただコードを書くだけにとどまりません。技術の進化に伴い、マイクロサービスやサーバーレスアーキテクチャのような新しいトレンドに適応し、システムの健全性を維持することが重要になってきています。この記事では、Observability（オブザ
AWS Weekly Roundup – EC2 DL2q インスタンス、PartyRock、6 周年を迎えた Amplify など – 2023 年 11 月 20 日
2023/12/04
ブックマーク
11月13日週は、なんと 160 を超える新サービスがリリースされました。たくさんの更新情報であふれかえっていたため、私たちは Weekly Roundup をもう一度投稿することにしました。 AWS re:Invent 2023 の開催が近づく中、11月13日週と同じペースでイノベーションが継続されています。 AWS のニュースブログチームでも、皆さんに記事を楽しんでもらうために、サービスチームによ
PostgreSQLとElasticsearchの同期ツールPGSyncを使ってみた
2023/11/16
ブックマーク
こんにちは。 エンジニアの nobushi です。 RDBが必要な規模のデータを扱うWebアプリケーションを構築する場合、多少なりとも「検索」機能が求められるものだと思います。 しかし、この「検索」機能、要求事項の幅が非常に大きく、場合によっては実現がかなり難しいと思われることもよくあるんじゃ無いでしょうか。 「全文検索」はその代表とも思われるもので、機能
検索のランキング処理を改善するポイント（『機械学習による検索ランキング改善ガイド』を執筆しました）
2023/11/13
ブックマーク
こんにちは。LINEヤフー株式会社で検索エンジン上の機能開発のマネジメントを行っている真鍋です。 検索エンジンというとYahoo!検索などのウェブサービスを思い浮かべるかもしれません。今回は、ウェブサ...
OSSでオブザーバビリティを実現する (Elastic Stack x OpenTelemetry on Kubernetes)
2023/09/28
ブックマーク
こんにちは。インフラエンジニアの gumamon です！ 最近はSRE的なことも ちょこちょこ やらせて頂いています。 NewRelic、Datadog、モダンな監視(オブザーバビリティ)って良いですよね。 弊社も Kubernetes ( k8s )等を利用した環境が増えてきた折、そろそろ必要になってきた(と思っている)のですが、NewRelic、Datadog等の クラウド サービスは ランニングコスト が安くない。 そこで
SREによるElasticsearchのQCD改善！シャーディング最適化とオートスケーラー開発の取り組み
2023/09/27
ブックマーク
はじめに こんにちは、SRE部 検索基盤SREブロックの花房と大澤です。普段はZOZOTOWNの検索関連マイクロサービスのインフラ運用を担当しています。 ZOZOTOWNの検索基盤では、商品検索に関わる大規模なデータを取り扱うためにElasticsearchを利用しています。Elasticsearchを運用していく中で、私たちはパフォーマンスとインフラコスト、運用トイルの問題に直面していました。本
ECS起動を高速化するSeekable OCI(SOCI)インデックスをGitHub Actionsでも作る
2023/09/25
ブックマーク
SOCIとは? SOCI(Seekable OCI)はAWSが開発しているコンテナイメージの遅延読み込みのための仕組みです。コンテナイメージには起動時には使わないデータも多く含まれています。遅延読み込みによって、起動時には最小限のデータのみ読み込んで起動時間を短縮することを目的としています。コンテナ起動時の遅延読み込み自体は以前から存在しており、有名なものに estargz が
Amazon OpenSearch Serverless のためのベクトルエンジンの紹介
2023/09/20
ブックマーク
vector engine for Amazon OpenSearch Serverless のプレビューリリースを発表できることを嬉しく思います。ベクトルエンジンは、 Amazon OpenSearch Serverless でシンプルでスケーラブルでパフォーマンスの高い類似検索機能を提供します。これにより、最新の機械学習 (ML) 拡張検索エクスペリエンスと生成人工知能 (AI) アプリケーションを、基盤となるベクトルデータベースインフ