「Elasticsearch」に関連する技術ブログ
企業やコミュニティが発信する「Elasticsearch」に関連する技術ブログの一覧です。
全197件中 31 - 45件目
GCE でハニーポット建ててみた
2024/06/25
ブックマーク
クラウドエース SRE 部のアイルトンです。 SRE 部の中で、セキュリティギルドのギルドマスターをしています。 ギルド活動の一環として、 Google Compute Engine (以降、GCE と表記) でハニーポットを構築してみんなで観察してみたので、その時の記録を共有したいと思います。 ハニーポットとは 不正なアクセスを受けることを前提として意図的に設置される「罠」のようなシス
Amazon OpenSearch Service と Amazon S3 のゼロ ETL 統合によるデータ可観測性のモダナイズ
2024/06/18
ブックマーク
本記事は、 Modernize your data observability with Amazon OpenSearch Service zero-ETL integration with Amazon S3 を翻訳したものです。翻訳は Solutions Architect の深見が担当しました。 私たちは、バージョン 2.13 以降のドメインでの Amazon OpenSearch Service の Amazon Simple Storage Service (Amazon S3) とのゼロ ETL 統合の 一般提供の開始を発表できることを喜ばしく思います。 この統合により、お客様は Amazon S3
ElasticsearchによるZOZOTOWNへのベクトル検索の導入検討とその課題
2024/06/12
ブックマーク
こんにちは。検索基盤部の橘です。ZOZOTOWNでは、商品検索エンジンとしてElasticsearchを利用し、大規模なデータに対して高速な全文検索を実現しています。 Elasticsearchに関する取り組みは以下の記事をご覧ください。 techblog.zozo.com 検索基盤部では、ZOZOTOWNの検索結果の品質向上を目指し、新しい検索手法の導入を検討しています。本記事ではベクトル検索と呼ばれる検索手法
新しいコンピューティング最適化 (C7i-Flex) Amazon EC2 Flex インスタンス
2024/05/20
ブックマーク
CPU を絶えず 100% の最大使用率で実行するアプリケーションはほとんどありません。ウェブアプリケーションを例にとってみましょう。使用率は需要が高い期間と低い期間で変動するのが一般的ですが、サーバーのコンピューティング能力をフルに活用することはめったにありません。 お客様が現在 AWS クラウドで実行している多くの一般的なワークロードの CPU 使用
ElasticsearchのFunction Score Queryのパフォーマンスを最適化する
2024/04/24
ブックマーク
search infra teamのmrkm4ntrです。我々の運用するElasticsearchにはFunction Score Queryを使ったリクエストが送られてきます。Function Score Queryはサブクエリのスコアに任意の関数を適用できるというもので、とても便利な機能ですが、同時にTop K(スコアが大きいものからK個を取得する場合)クエリ処理の最適化の恩恵を受けられなくなるという欠点もあります。この記事では、Function Score
Elastic Cloudの特権アカウント共用から脱却！
2024/03/27
ブックマーク
はじめに こんにちは、SRE部 検索基盤SREブロックの花房です。普段は、ZOZOTOWNの検索関連マイクロサービスにおけるQCD改善やインフラ運用を担当しています。 以前まで、検索基盤を支えるチームではElastic Cloudの特権アカウントをメンバーで共用していました。本記事では、2023年4月にリリースされた Elastic CloudのRBAC（Role-Based Access Control）機能 を活用して、特権アカウント
Apache Flink バージョン 1.18 が Amazon Managed Service for Apache Flink でサポートされました
2024/03/26
ブックマーク
Apache Flink は、ストリームおよびバッチ処理向けの、パワフルなプログラミングインターフェースを提供するオープンソースの分散処理エンジンです。ステートフルな処理やイベントタイムセマンティクスをサポートしています。Apache Flink は、複数のプログラミング言語、Java、Python、Scala、SQL、および異なる抽象化レベルの複数の API をサポートしています。これらを単一
LINE MUSICのプレイリスト認識機能を改善した話
2024/03/25
ブックマーク
こんにちは。LINE MUSICのサーバサイドエンジニアをしている森です。 LINE MUSICでは（主に他社の）音楽サービスのプレイリストの画像から曲を認識し、曲をプレイリストに取り込む機能がありま...
LangChainのAgentExecutorを使って生成AIのAgentにデータ分析をさせてみた
2024/02/19
ブックマーク
はじめに こんにちは！昨年9月からInsight Edgeの開発チームに参画した広松です。Insight Edgeでは生成AI案件を担当しています。 参画してからまだ間もないですが、技術選定や顧客との調整を含む多くの業務を裁量を持って自由にできるところが良いと感じています。また、Insight Edgeでは業務時間の10%を勉強会などの自己啓発に充てることが奨励されています。この文化のおか
Elasticsearchのパフォーマンス問題をプロファイラを使って解決する
2024/02/14
ブックマーク
search infra teamのmrkm4ntrです。我々のチームではElasticsearchをKubernetes上で多数運用しています。歴史的経緯によりElasticsearchのクラスタは全てElasticsearchクラスタ専用のnode pool上で動作していました。ElasticsearchのPodは使用するリソースが大きいため、このnode poolのbin packingが難しくコストを最適化できないという問題がありました。そこで全てのElasticsearchクラスタを専用のnode poo
Amazon OpenSearch Service の設定変更が、新たな視認性の改善でより簡単に追跡可能に
2024/02/07
ブックマーク
Amazon OpenSearch Service は、ワークロード固有の要件を満たすための複数のドメイン 設定 を提供しています。標準的なサービス運用の一環として、これらの設定を定期的に更新する必要がある場合があります。最近、Amazon OpenSearch Service は設定変更をより効果的に追跡できるようにする 視認性の改善 を行いました。詳細でより説明的な設定ステータスを導入することで、アラ
Practicing Observability with Grafana from a BE Engineer's Perspective
2024/01/16
ブックマーク
Introduction Hello! I am Jeong, and I am a member of KINTO Technologies' New Vehicle Subscription Development Group. Our daily work goes beyond just writing code. As technology evolves, it is important to adapt to new trends such as microservices and serverless architecture while maintaining a healthy system. After reading this article, you will understand the importance of observability and how Grafana is used to monitor systems and optimize performance. About Observability Observability re
検索エンジンをVespaへ移行しています
2023/12/21
ブックマーク
検索エンジンをVespaへ移行しています こんにちは、スタンバイで検索周りの開発を担当している鷹取です。 今回はスタンバイで利用している検索エンジンをVespaへ移行している話を紹介します。 検索エンジン移行の背景 Stanby Tech Blogの スタンバイ2+1年の軌跡 の記事で説明されている通り、 スタンバイでは、主に求人検索機能を提供していますが、その中でもオーガニッ
BEエンジニア視点のGrafanaによるObservabilityの実践
2023/12/04
ブックマーク
はじめに こんにちは！ KINTOテクノロジーズの新車サブスク開発グループに所属している丁(Jeong)です。 私たちの日々の業務は、ただコードを書くだけにとどまりません。技術の進化に伴い、マイクロサービスやサーバーレスアーキテクチャのような新しいトレンドに適応し、システムの健全性を維持することが重要になってきています。この記事では、Observability（オブザ
AWS Weekly Roundup – EC2 DL2q インスタンス、PartyRock、6 周年を迎えた Amplify など – 2023 年 11 月 20 日
2023/12/04
ブックマーク
11月13日週は、なんと 160 を超える新サービスがリリースされました。たくさんの更新情報であふれかえっていたため、私たちは Weekly Roundup をもう一度投稿することにしました。 AWS re:Invent 2023 の開催が近づく中、11月13日週と同じペースでイノベーションが継続されています。 AWS のニュースブログチームでも、皆さんに記事を楽しんでもらうために、サービスチームによ