この記事は、 Merpay Tech Openness Month 2023 の18日目の記事です。 はじめに メルペイでBackend Engineerをしている @champon です。 普段はApache Airflow（以下、Airflowと呼ぶ）を用いた与信枠計算パイプラインの運用をしています。 この記事では、Cloud Composer（以下、Composerと呼ぶ）を用いたAirflowからSlack通知を行う実装例について紹介します。 AirflowにおけるSlack連携 メルペイの与信枠

（分割キーボードのMoonlander。とても気に入ってます。） はじめまして。ソフトウェアエンジニアの椎葉（@bufferings）です。今年の4月にカケハシに入社して、今月末で3ヶ月になります。毎日楽しく過ごしていて、あっという間の3ヶ月間でした。 最初にすなおにお伝えすると、この週末と週明けにイベントで登壇するので、その宣伝をしたいなという気持ちがあってブログを書くことにしました。ぜひイベントを見に来てほしいです！ そんなきっかけではあるのですが、せっかくの機会なので、この3ヶ月をふりかえって、やっ

前回のまとめ jit-accessとは terraformでjit-accessを構築する 1. jit-accessアプリケーション用のサービスアカウントを作成 2. ネットワークリソースの作成 3. cloudrunの作成 4. モジュールの適用 5. IAM Conditionの追加 まとめ 前回のまとめ みなさんこんにちは。ProductTeam SREのkterui9019です。 前回の記事では、無秩序に作られていたIAMの設定を見直し、Googleグループの作成と組織体系に沿ったGCPプロジェ

当記事では、Google Cloud (旧称 GCP) のリソースを Terraform で作成する際に生じる "reason": "SERVICE_DISABLED" エラーへの対処として Terraform の time_sleep を紹介します。 前提知識 エラー文 原因 対処法 前提知識 Google Cloud は Google Cloud APIs と呼ばれる Web API 群から成り立っています。そのため、Google Cloud ではサービス利用時に対象の API を有効化する必要があり

この記事は、 Merpay Tech Openness Month 2023 の16日目の記事です。 こんにちは。メルペイのバックエンドエンジニアの @panorama です。 今回はメルカードのバックエンドにおいて「外部APIへのリクエストの流量制御を実現するためにCloud Tasksを導入した話」をご紹介します。 背景 メルカードのバックエンドでは提携している企業さまのAPIをさまざまな処理で呼び出しています。(以降このAPIを外部APIと呼びます。) メルカードをご利用いただいているお客さまが増え

はじめに こんにちは。プラットフォームGのOperationToolManagerチームでPlatformEngineeringとかツール周りの開発・運用の役割の島村です。 同じくプラットフォームGのOperationToolManagerチームで内製ツールの開発を行っている山田です。 KINTOテクノロジーズではAmazon ECS＋Fargateをアプリケーション実行基盤として使用しています。また、CICDについてはGitHubActionsを使用しています。 AWSのECSにおけるBlueGreen

はじめに こんにちは。RevCommでCorporate Engineeringチームで活動している川添です。 今回のブログでは、オンライン申し込みからお客様専用の環境構築までの一連の業務プロセスを自動化するテクニックについて解説していきたいと思います。業務効率化や自動化に興味がある方はぜひ参考にしてみてください。 自己紹介 まず自己紹介をしておきますと、私は2020年7月にRevCommに入社して、主にCorporate Engineering領域で活動しつつ、フルスタックチームとしても社内チーム横断プ

はじめに 皆さんはハニーポットというのはご存知でしょうか。ハニーポットとは、悪意のある攻撃を受けるように設計された「罠」や「おとり」になるサーバーやネットワークのことです。最新のサイバー攻撃やマルウェアの動向を探ったり分 […]

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ&テクノロジーズ株式会社の舘山と申します。 当記事では Cloud Monitoring 指標スコープ を活用して複数プロジェクトを横断してリソースの消費状況をモニタリングする事例を紹介します。 当ブログは G-gen × みずほRT によるコラボ記事です はじめに 複数プロジェクトとオンプレミス環境の接続 個別システムと共通基盤の役割分掌 VPC ピアリンググル

この記事は、 Merpay Tech Openness Month 2023 の8日目の記事です。 メルペイのSREチームに所属しておりますt-nakataです。今回はメルペイでのTerraformモジュールを利用したCloud Spannerの設定標準化の取り組みについて紹介します。 Cloud Spannerの設定標準化とは？ メルペイのバックエンドではマイクロサービスアーキテクチャを採用しており、各マイクロサービスで利用するデータベースはCloud Spannerを主に利用しております。Cloud

こんにちは。 エンジニアの nobushi です。 今回は Python のマイグレーションツール Alembic を実際に運用してみたいと思います。 以前の ブログ で Alembic を紹介しましたが実際にどう運用するかについてまでは触れませんでした。 今回は GCP の CloudRun を主体としたシステムでの運用方法について紹介したいと思います。 CloudRun CloudRun は GCP のサーバーレスなコンテナ実行環境で、とても簡単にコンテナを実行することができます。 ロードバランサも内

はじめに こんにちは。クラウドエース株式会社で SRE をしている間瀬です。 今回は Google Forms で入力した内容に沿って Google Cloud のプロジェクト払い出し運用を自動化する際の設計ポイントについて紹介したいと思います。 プロジェクト登録の自動化について Google Cloud 上でのリソース管理単位となるプロジェクトですが、サービスや機能単位でプロジェクトを分割するケースが多いかと思います。しかし、会社組織内でクラウド利用が拡大することに伴い、プロジェクトの登録作業や権限の管

G-gen セキュリティスイート for Google Cloud とは ユースケース 実現できること 概要 機能例 提供体系 Terraform での提供 請求代行サービスへの付帯 プラン一覧 仕組み 使用する Google Cloud サービス スコープ お申し込み方法 G-gen セキュリティスイート for Google Cloud とは G-gen セキュリティスイート for Google Cloud は、Google Cloud を利用する際に必ず実装しておきたい セキュリティ設定をパッケー

こんにちは、クラウドエースの阿部です。 こちらの記事では、Cloud Logging シンクの書き込み ID 仕様変更について解説しようと思います。 概要 2023年5月31日に Cloud Logging のリリースノートに掲載されました。なお、仕様変更は2023年5月22日から行われていたようですので、ある意味サイレントな仕様変更になっていたようです。 具体的には、Cloud Logging シンク作成時に自動的に作成されるサービスアカウント(書き込み ID)の形式が以下のように変更されました。 変更

Terraform で VPC を作成し、デフォルトルートを削除するオプションを有効にし再度実行した際、Terraform 上ではエラーとならないものの、実際のデフォルトルートのリソースは削除されませんでした。今回はその事象の原因と解決方法を紹介します。 前提知識 実施内容 やりたかったこと 初回の VPC 作成 デフォルトルート削除の試行 事象 原因 解決策 デフォルトルート削除による影響 インターネットアクセス 内部リソースへのアクセス 限定公開の Google アクセス 前提知識 VPC のルートに