「Elasticsearch」に関連する技術ブログ
企業やコミュニティが発信する「Elasticsearch」に関連する技術ブログの一覧です。
全186件中 76 - 90件目
MNTSQ CLMの認可の実装
2022/06/29
ブックマーク
認証認可とワンセットで語られることが多い印象だが、今回話すのは「認可（Authorization）」の話だ。「認証（Authentication）」の話は含まない。 （システムで言う）認可とは、大雑把に言うと「誰が」「何を」「どうすることが」「できる/できない」の要素に従って判定することだ。 どちらも略すと「Auth」になってしまってクラス名が衝突したりするので困ることがある
Elasticsearchの検索速度低下を調査してEBS Volumeタイプを変更したら高速化できました
2022/06/28
ブックマーク
こんにちは。NewsPicksでエンジニアをやっております崔（チェ）です。現在は Data / Algorithm チームで検索エンジンの開発を担当しております。この半年間、検索に関しては色々と改善しており、去年までと比較し大きく使いやすくなったのではないでしょうか。前回の記事では検索精度改善に関するお話をしましたので、今回は検索速度を改善したお話をしようと思います
Elasticsearchのバージョンアップと検索基盤の改善
2022/06/15
ブックマーク
はじめに こんにちは、検索基盤部 検索基盤ブロックの可児（ @KanixT ）とSRE部 ECプラットフォーム基盤SREブロックの大澤です。 本記事では、ZOZOTOWNの商品検索で利用しているElasticsearchをバージョンアップした知見と、その際に実施した検索基盤の改善についてご紹介します。 目次 はじめに 目次 背景 バージョンアップの流れ 主な作業 変更箇所の調査 新バージョンのMappin
Ubuntu を業務PCで使いつづけて3年が経ちました。 〜Web開発にmacOSじゃなくて大丈夫なのか気になる方へ〜
2022/06/13
ブックマーク
MNTSQ( モンテスキュー )株式会社 ソフトウェアエンジニアの沼井です。 普段は Rails でのバックエンド開発をしつつ、Elasticsearchによる 全文検索 処理やインデクシングまわりの開発にも取り組んでいます。 私は現在、 Thinkpad X1 Carbon (2021年版)に Ubuntu 20.04をインストールして開発を行なっています。MNTSQ社以前の経験も含めると、業務での Ubuntu 使用経験は3年以上あります。
Elasticsearchへのデータ投入と可視化【Kibana 基礎】
2022/06/09
ブックマーク
皆様こんにちは。インフラエンジニアのryuhei55225です！ 前回の記事 は【Kibana 入門】という形で「Elastic Stack」(Kibana+Logstash+Elasticsearch)を Linux サーバにインストールして、簡単なデータのグラフ化を紹介させて頂きました。 こちらの記事では、MWのインストール等のサーバ構築がメインとなってしまい、具体的なElasticsearchへのデータ投入やデータ検索・グラフ化に関しては
Vertex AI Pipelinesによる機械学習ワークフローの自動化
2022/06/07
ブックマーク
はじめに こんにちは。検索基盤部の倉澤です。 私たちは、ZOZOTOWNの検索機能の改善に取り組んでいます。ZOZOTOWNのおすすめ順検索ではランキング学習を用いた検索機能の改善に取り組んでおり、A/Bテストにて効果を測定しています。 ランキング学習やElasticsearch Learning to Rankプラグインについては過去の記事で紹介していますので、併せてご覧ください。 techblog.zozo.com techbl
Elasticsearch の reindex をするために試行錯誤して分かったこと
2022/04/18
ブックマーク
こんにちは。NewsPicksでエンジニアやっております崔（チェ）です。現在は Data / Algorithm チームで検索エンジン開発を担当しております。弊社は、検索エンジンとして Elasticsearch を Amazon EC2 に乗せて構築しておりますが、メンテナンスに消極的だった部分があり、これからはマネージド化や検索精度向上など積極的に取り組んでいきたいと考えております（伸びしろしかな
Modern Data Stack への一歩としての Data Discovery Platform
2022/03/31
ブックマーク
テクノロジー本部のyoshikawaです。 最近のLIFULLでは、自社が所有するデータの活用を目的に数多くの取り組みが実施されています。 今回はデータの発見可能性(Data Discovery)を向上させるための基盤構築を目指して実施したPoC(Proof of Concept)とそのOSSの選定について紹介します。 当初は「自社データの再利用性を高めたい」という広い意味を持った要件で開始したプロジェクト
ZOZOTOWN検索マイクロサービスにおけるキャッシュの導入とその効果
2022/03/22
ブックマーク
はじめに こんにちは。検索基盤部 検索基盤チームの佐藤（ @satto_sann ）です。検索基盤チームでは、 ZOZOTOWNの検索周りのシステム開発に日々取り組んでいます。 本記事では、ZOZOTOWNの検索マイクロサービスにおけるキャッシュ導入で得られた知見や工夫点について紹介します。検索に限らずマイクロサービスへキャッシュの導入を検討されている方の参考になれば幸いで
Elasticsearch LTRプラグインと特徴量キャッシュ機能の基本
2022/03/15
ブックマーク
はじめに こんにちは、検索基盤部 検索研究ブロックの真鍋です。ヤフー株式会社から一部出向していて、主にZOZOTOWNの検索機能へのランキングモデルの導入に従事しています。 本記事では、Elasticsearch上でランキングモデルを扱うための有名なプラグインの仕組みと、同プラグインにZOZOが実装した機能を紹介します。 まず、本記事の背景を説明します。ZOZOTOWNでキーワー
Elasticsearchをゼロダウンタイムで再起動する
2022/03/01
ブックマーク
こんにちは。MAMADAYSバックエンドチームのsa9sha9です。最近Diablo3にハマりました。 MAMADAYSでは検索基盤としてElasticsearch(以下ES)を利用していますが、時たま再起動を実施したいケースがあります。 本記事では、ゼロダウンタイムでのESの再起動を実現するための注意点を実際のフローに沿ってまとめたいと思います。 MAMADAYSのアーキテクチャについては以前のTechBlogをご参照
全文検索 MySQL FULLTEXTインデックスからElasticsearchへ切り替えた話
2022/02/28
ブックマーク
はじめに こんにちは、レバレジーズ フリーランスHub開発チームです。 現在、弊社が運営する フリーランスHub というサービスでは検索エンジンとしてElasticsearchを採用しています。 この記事では、エンジニアがサービスの成長速度と工数を考慮した上で、Elasticsearchを採用するに至った背景や理由、そして、MySQLからElasticsearchへ移行した結果どれくらいパフォーマンスが改
Google Cloud (GCP) Windows VM の Ops エージェント で Cloud Logging に任意のログファイルを収集する方法
2022/02/18
ブックマーク
こんにちは、G-genの渡邉@norry です。 皆さんCloud Logging は活用されていますか？ Cloud Logging は Google Cloud (GCP) 上のシステム等が生成したログを収集・保管・管理する仕組みです。 まずはCloud Logging とは何か？ をしっかり理解したい方は以下の記事をおすすめします。 blog.g-gen.co.jp 本項では GCP 上の Windows VM より Google Cloud オペレーションスイートのエージェント ( Ops Agent ) を
AuroraとOpenSearchとElastiCacheをGraviton2移行！...に失敗しました(切り戻し済み)
2022/02/07
ブックマーク
クラシマです。 弊社、 AWS さんからスタートアップ支援としてアド バイス を受ける機会を定期的に作っていただいており、直近では主にコスト面やセキュリティ面について、 アーキテクチャ 図を見ながらご提案をいただいています。 使っていないときは止める、SavingsPlansや リザーブ ド インスタンス で前払い、などのご提案とともに、Graviton2 インスタンス への切り替
ログ解析によるアクセスログの可視化で運用を楽にしたい！
2022/01/20
ブックマーク
はじめまして。rks_mnkiです。 ラク スでひっそりとインフラエンジニアやってます。 特技は、蚊に刺されないことです。 さて今回は、 「 Apache アクセスログ に関するログ解析手法」 について、実際に検証を行った一例も踏まえながらご紹介したいと思います。 目次： １．Apacheのアクセスログとは ２．「ログ解析」の必要性 ３．確認したい具体的な情報 ４．利用するツ