こんにちは、Luup SREチームのにわです。 経緯 LuupではAWS IoT CoreのログをDatadogに入れて分析をしようと取り組んでいます。その中で、AWS IoT CoreのログはAWSIotLogsV2として送信されます。Luupでは、このAWSIotLogsV2に含まれるログには、 イベントごとにPublish-In, RuleExecution, Publish-Out, Disconnectなどのログが含まれています。 現時点では公式のLog PipelineはPipeline Li

はじめに こんにちは、SRE部カート決済SREブロックの伊藤です。普段はZOZOTOWNのカート決済機能のリプレイス・運用・保守に携わっています。また、チームを跨いだ横断活動としてデータベース（以下DB）周りの運用・保守・構築に関わっています。 ZOZOTOWNではSQL Serverを中心とした各種DBMSが稼働しています。本記事はSQL Serverのパフォーマンスを調査する上で進めた可視化についての取り組みをご紹介します。 はじめに 従来の方法 DMV運用の課題 Splunkによるダッシュボード化

オープンソースの開発者として、とても嬉しい日です 😄 私たちのチームがはじめた継続的デリバリーツール ...

導入 問題の発覚 動的ポート割り当ての落とし穴 監視とアラート 導入 こんにちは、Product Team SREのkterui9019です。 今回はGCPのCloudNATについての調査結果を共有したいと思います。CloudNATを利用している中で気づかないうちに実はパケットロスが発生していたので、詳細をご紹介します。 問題の発覚 私たちはお客様からの問い合わせを受けて、GKEにデプロイされている特定のマイクロサービスの「遅いエンドポイント」について調査を行っていました。 Datadogのトレースを追っ

こんにちは、QAエンジニアのカンパチロックです。 今回は、テストフェーズにおいてQAの価値を向上させる方法の1つとして、分散トレーシングおよびその標準規格であるOpenTelemetryについて説明します。これにより、システム内で発生する問題をより迅速かつ正確に特定し、開発プロセスをより迅速かつ効率的に進めることができます。 分散トレーシングとは まず、分散トレーシングにという用語について皆さん聞いたことはありますでしょうか？ 商用の製品としては、Dynatrace、NewRelic、Datadogなどの

エンジニアの竹田です。 BUYMA の検索システムやMLOps基盤の開発・運用を担当しております。 今回はSolr Operatorによる検索システム構築を行いましたので、その実施内容と得られた知見についてご紹介したいと思います。 はじめに 昨期から今期にかけて、オンプレミスのシステムからの脱却、およびマイクロサービス化を目指し、商品検索システムのリプレイスを進めていました。 エニグモ では機能毎に Apache Solrを用いた複数の検索システムを保持しており、 クラウド 移行に伴い、構築面や運用面の負

マネージドサービス部 佐竹です。今回のブログでは re:Invent 2022 で発表されたアップデートに関連して、実際に AWS Compute Optimizer で Datadog のメトリクスを取り込んで精度を向上させることができたことを証跡としてブログに記載しまとめました。またそのために必要な設定についても、Datadog の公式ドキュメントに記載がない点も含め、注意事項を踏まえて記載しています。

こんにちは。 株式会社ココナラのシステムプラットフォーム部でインフラ・SREチームのチームマネージャーをしているよしたくと申します。 前回はインフラ・SREチームの主に組織的な部分を紹介しましたが、今回はより技術的な取り組みを一部紹介します。 https://zenn.dev/coconala/articles/da8787cbade8d0 ココナラではクラウドリソースの管理にTerraformを利用しています。今回このTerraformリポジトリのディレクトリ構造を見直すこととしたので、どのような考え方

こんにちは、WEARバックエンドブロックの天春です。バックエンドの運用・開発に携わっています。本記事では、以前公開した WEARにおけるプッシュ通知システムのリプレイス のフェーズ2を終え、旧環境のプッシュ通知システムのリプレイスを完了したのでシステム構成や移行手順をご紹介します。 目次 目次 1:Nのプッシュ通知システム リプレイス前の1:Nのプッシュ通知システム リプレイス前のシステム構成 問題点 リプレイス後の1:Nのプッシュ通知システム リプレイス後のシステム構成 1:Nキュー（Sidekiqダッ

はじめに こんにちは。計測プラットフォーム開発本部バックエンドチームの岡山です。普段はZOZOMATやZOZOGLASSなどの計測技術に関わるシステムの開発、運用に携わっています。去年の夏にZOZOFITというサービスを北米向けにローンチし、そのシステムも同様に開発、運用に携わっています。 本記事では、ZOZOFITの認証フローで実行されるScala実装のAWS Lambda関数が抱えていたパフォーマンス課題と、その課題の解決に至るまでの取り組みについてご紹介します。 目次 はじめに 目次 ZOZOFIT

こんにちは、SREをやっている @okazu_dm です。 経歴としては、サーバサイドエンジニアからセキュリティエンジニアを経て、エス・エム・エスではサービス横断で技術的な課題を解決しています。 基本的には組織に必要なことと自分ができることや、やりたいことが交わるポイントで仕事をしており、現在はSREとして働いています。 今回は、 過去の記事 とは違い、既存SREチームとは別に、介護事業者向け経営支援サービス「カイポケ」のリニューアルプロジェクトにスコープを絞って新しく立ち上げたSREチームとしての活動を

はじめまして。 株式会社ココナラのシステムプラットフォーム部インフラ・SREチームに所属しているぐっさんです。 本記事では2023年1月にGoogle Cloud社にSRE JumpstartのWorkshopを開催していただきましたので、このWorkshopで学んだことを紹介したいと思います。 SRE Jumpstartについて SRE（Site Reliability Engineering）とはシンプルに表現すると、Google Cloud社が提唱しているサービス運用における考え方や役割になります。

この記事は Enigmo Advent Calendar 2022 の13日目の記事となります。 お疲れさまです。インフラチームの山口です。 弊社では一部イン フラリ ソースのモニタリングにDatadogを利用しています。 その中で、今回はDatadogの利用開始当初に GUI で作成されたモニターをTerraformerとTerraformを使用して構成管理した際の事例について報告します。 同様の技術スタックを使用したインポートや構成管理における具体的なテンプレート等の事例には事欠かないと思いますので、

※この記事は、Luup Advent Calendar の11日目の記事です。 最初に こんにちは、Luup SREチームの峯岸です。 今回はLuupのSREチームにて行っている「SLI/SLOの導入」への取り組みについて記載したいと思います。 LuupのSREチーム紹介で記載しているように、SREチームはインフラ品質や信頼性を高めることを目的に動いております。 その中のミッションの1つに「組織全体へのSLI/SLOの導入」があり、その導入に向けてSREチームは日々奮闘しております。 そこでLuupとして

はじめに こんにちは。プラットフォームGでDevOpsエンジニアをしている島村です。 KINTOテクノロジーズのプラットフォームGのDevOpsサポートチーム(とSREチーム)では、CI/CD以外にも、監視ツールの整備やモニタリングツールの改善を実施しています。 プラットフォームGは他にもSystemAdministratorチーム、CCOE、DBREなどがあり、AWSを中心としたインフラの設計・構築運用の他にも会社全体のシステム改善や標準化・最適化を担っています。 その中で、昨年にGAとなったAmazo