はじめに リプレイスの背景 旧ETL基盤の構成 課題感 転送時間 コスト 汎用性 新ETL基盤 構成 Step Function AWS Glue Job AWS Lambda 成果 転送時間 コスト 汎用性 まとめ はじめに こんにちは！スマートキャンプエンジニアの中田です。 直近で、BOXIL SaaSのDBのデータをBig Queryへロードするために利用していたETL基盤をリプレイスし、運用コスト・転送時間を改善しました。 旧基盤 新基盤 運用コスト(料金) 約 $750/月 約 $70/月 転送

こんにちは、技術本部SRE部ZOZO-SREブロックの 鈴木 です。普段はSREエンジニアとしてZOZOTOWNの裏で動いているオンプレミスとクラウドの構築・運用・保守に携わっています。 ZOZOTOWNのインフラは大半がIaC化されていますが昔からあるリソースに関してはその限りではありません。弊社で導入しているAkamaiもIaC化されていないリソースの1つでしたが、頻繁な更新などによって重複した設定が入っている箇所がある等、長く運用しているとどうしても陥ってしまう沼にハマっていました。本記事ではこの沼

クラウドエースの阿部と申します。TerraformをはじめとするIaCが大好きなエンジニアのような者です。 はじめに 2022年8月1日に「CDK for Terraform (CDKTF)」がGAリリースされました。(Hashicorpのブログ) 2年ほど前からAWS向けにコミュニティプレビューとして公開されていたフレームワークですが、しばらく前からGoogle Cloud向けにも使用できるようになっており、実際にどんな感じで使えるか見てみようと思います。 なお、筆者はTerraformのHCLについて

はじめに 上野です！最近、個人学習でTerraformを触る機会があったのでM1でのTerraformの実行環境の構築方法を共有しようと思います！今回はDockerを使用してのTerraformの実行環境の構築方法です！ 環境情報 MacBook Pro (13-inch, M1, 2020) チップ: Apple M1 OS: MacOS Big Sur (バージョン11.5.2) Docker Engine (v20.10.8) Dockerを使用してTerraformの実行環境を作成する 2022/

はじめに はじめまして。会員システムグループでメールシステムの担当をしている鹿野です。 みなさまは、担当されているシステムの監視アラート対応はどうされていますか？ 弊社のメールシステムはメールサービスを提供しているというその特性もあり、緊急度の高いアラートは電話で担当者に通知を行う構成を採用しています。 今回はそのアラート発生から担当者に電話で通知するまでのフローを Alertmanager と Amazon Connect を使って構成したお話です。 この記事で使用している構成コードのサンプルは こちら

こんにちは。 エンジニアの nobushi です。 今回は Terraform で CI/CD 運用を行なってみたいと思います。 Terraform は Infrastructure as Code (IaC) のツールの一つです。 IaC といえば AWS ならCloudFormation もありますが、 Terraform の場合、 AWS はもちろん、Azure 、GCP 等、いろんなプラットフォームに対応できるのが魅力の一つです。 本ブログでは GCP をターゲットとして CI/CD の運用例を紹

こんにちは。X（クロス） イノベーション 本部 ソフトウェアデザインセンター セキュリティグループの耿です。 クラウド インフラをIaC化すると、静的セキュリティスキャンができるようになります。インフラをデプロイする前にセキュリティ上の問題や、ベストプ ラク ティスに沿っていない構成を知ることができるため、ぜひスキャンしておきたいところです。 今までのスキャンツールとしては、以下のようなものがありました。 tfsec OSS Terraformに対応 cfn_nag OSS CloudFormationテ

こんにちは。X（クロス） イノベーション 本部 ソフトウェアデザインセンター セキュリティグループの耿です。 クラウド インフラをIaC化すると、静的セキュリティスキャンができるようになります。インフラをデプロイする前にセキュリティ上の問題や、ベストプ ラク ティスに沿っていない構成を知ることができるため、ぜひスキャンしておきたいところです。 今までのスキャンツールとしては、以下のようなものがありました。 tfsec OSS Terraformに対応 cfn_nag OSS CloudFormationテ

はじめに コミューンのインフラにおける課題 使ってみた 既存のGCPのリソースをTerraform形式でエクスポートする main.tfを作成する 既存のGCPリソースをインポートする terraform planで実行計画を見る 1. google_compute_route 2. google_compute_ssl_certificate 3. google_storage_bucket 4. google_logging_log_sink 検証結果 感想 良い点 GA版に期待すること さいごに エ

はじめに コミューンのインフラにおける課題 使ってみた 既存のGCPのリソースをTerraform形式でエクスポートする main.tfを作成する 既存のGCPリソースをインポートする terraform planで実行計画を見る 1. google_compute_route 2. google_compute_ssl_certificate 3. google_storage_bucket 4. google_logging_log_sink 検証結果 感想 良い点 GA版に期待すること さいごに エ

こんにちはエンジニアのEadaedaです。 皆さんのチームではGitHub Actionsを使っていますか？ブロックチェーンチームではテストやリンター、デプロイといったワークフローをGitHub Actionsで行っています。 今まで、デプロイ以外のワークフローはGitHub-hosted runnerで実行、デプロイはSelf-hosted runnerで実行していましたが、運用していくうちに特定の環境内にあるサーバーで実行されるように仕組みを見直す必要がでてきました。このため全てのワークフローをSel

はじめに DevOpsプラットフォームの取り組みを紹介する3回目の記事です。 Qmonus Value Stream のアーキテクトの牧志 ( @JunMakishi ) です。 本記事では、Qmonus Value Streamの独自技術であるCloud Native Adapterを紹介します。はじめにInfrastructure as Codeの課題を指摘し、Cloud Native Adapterを使ってこれらの課題をどう解決するのかを解説します。 Infrastructure as Codeの課

こんにちは、上野です。 久しぶりにGoogle Cloudの内容を書きます。大規模にGoogle Cloudを利用する場合、フォルダやプロジェクト、およびそのセキュリティ設定の管理が悩みポイントになってきます。その管理方法の1例を紹介します。 Google Cloudにおけるフォルダについて 複数のプロジェクトを管理する場合、フォルダを使用すると便利です。AWSでいうとOU（organizational units、組織単位）に近い概念です。部門や環境（開発、本番）など管理範囲別にフォルダを作成し、フォル

はじめに DevOpsプラットフォームの取り組みを紹介する2回目の記事の前半です。 こんにちは。 Qmonus (クモナス) Value Stream の開発チームの松本です。 前回の記事 では、 Qmonus Value Stream の概要を紹介しました。 連載第2回となる今回は、Qmonus Value Streamの重要で特徴的な機能の1つであるCloud Native Adapterを使い、アプリケーションをデリバリする事例を2つ、前編と後編の2回に分けて紹介します。 前編では、Cloud Na

はじめまして。 顔の濃さが唯一の アイデンティティ のインフラエンジニア、m_yamaです。 ラク スに入社して1年、関わっている2つのサービスでTerraformをよく触ってるので、まとめてみました。 この記事さえ読めば、きっとあなたもTerraform中級者です。 （ちょっと盛った） （自分が中級者みたいでおこがましい） （精進します） 目次 目次 Terraformとは ざっくり理解するTerraformの全体像 Terraformの参考コード（EC2編） リソースをコード化するメリットって？ An