はじめに こんにちは。ブランドソリューション開発部の蔭山です。普段は Fulfillment by ZOZO （以下FBZ）というサービスを担当しています。FBZはZOZOTOWNの倉庫や物流システムをブランドさんの自社ECでご利用いただけるサービスです。 先日、FBZが稼働しているシステムについて、サービスを停止することなくマルチAZ化しました。サービスを停止せずにシングルAZ環境からマルチAZ環境へ切り替えるため、様々な調査や事前準備をした結果、無事故で切り替えることができました。この記事では、実際に

CI部の古川（と）です。最近はゴーヤにはまっています。 ITの世界に足を踏み入れ1年4か月経ち、初めて「無限ループ」を体験しました。 とても恐ろしかったです。 本ブログは自分に対する戒めと共に無限ループには気をつけようという啓蒙を意図しています。 はじめに 無限ループが発生した原因 該当チュートリアルで無限ループさせない方法 ちなみに料金は... 最後に はじめに S3へファイルをPUTしたことをトリガーにしてStep Functionsステートマシンを起動させたい！ という思いで、以下の公式チュートリア

こんにちは。AWS CLIが好きな福島です。 はじめに Gitとは GitHubとは Gitの仕組み ステージングエリアの必要性 Gitのコマンド config configの一覧 configの設定 configの取り消し init status add ステージングエリアへファイルの追加 ステージングエリアからファイルを削除 commit ローカルリポジトリへファイルのコミット diff 作業ディレクトリ⇔ステージングエリア ステージングエリア⇔ローカルリポジトリ log rm restore ローカ

# Apache AirflowのPoCをした話 はじめに 弊社『DELISH KITCHEN』のデータプラットフォーム上では、日々発生するデータをLakehouseプラットフォームに集約しており、Databricks上で処理される多数のETLジョブが存在しています。しかし、現在利用しているジョブ管理ツールでは、Databricksのジョブ同士の依存関係を細かく設定することが出来ず、実行ジョブが肥大化してしまう問題があります。 これらを適切な粒度で依存関係を設定出来るようにするため、DAGによるワークフロ

こんにちは、上野です。 前回に引き続き、Google Cloudのセキュリティ設定第２弾です。今回は監査ログ（Cloud Audit Logs）です。 監査ログは「誰が、いつ、どこで、何をしたか」を残すログで、AWSだとCloudTrailですね。目的はAWSと同じなのですが、設定方法や見え方がけっこう異なるので、概要を掴みつつ追加の保存設定を見ていきます。 Google Cloudの監査ログ 監査ログには、管理アクティビティ監査ログ、データアクセス監査ログ、システムイベント監査ログ、ポリシー拒否監査ログ

最近ランニングを始めたCI部2課の山﨑です。 今回はOrganizationsを用いたAWS環境を構成する上で、主要なセキュリティサービスを組織で一括で有効化する方法を整理しました。 はじめに Organizations組織への展開イメージ セキュリティサービスの設定方法一覧 First Step AWS CloudTrail AWS Config AWS Config Aggregator Second Step Management Account にて委任ならびに自アカウントでのセキュリティサービス

CI部 佐竹です。本日は、AWS Organizations に統合された AWS Config をメンバーアカウントに委任した後、AWS Config アグリゲーターを活用したデータ集約の設定方法について記載します。AWS Config Rules の状況を組織（Organization）でまとめて閲覧されたい方にお勧めの機能です。

はじめに Rain Rainとは おすすめポイント 使ってみた インストール テンプレート作成 デプロイ 削除 まとめ はじめに PE部の谷です。 先日、AWS CloudFormationを触っていたら、たまたまRainというCLI実行ツールがあることを知りました。 使ってみたら便利だったので共有します。 Rain Rainとは AWS CloudFormationテンプレートとスタックを操作するためのコマンドラインツールです。 リソースを指定したら、そのリソースに合わせたテンプレートを自動で作成してく

スマートキャンプ、エンジニアの入山です。 前回のブログで、弊社プロダクトのインフラをEC2基盤からECS/Fargate基盤へ移行した話を紹介しました。 tech.smartcamp.co.jp 上記プロジェクトは大規模なインフラの刷新だったこともあり、CI/CDについても従来の仕組みからECS/Fargateの構成に合わせて変更しています。 CI/CDは、安定したプロダクト開発には必須且つ長期に渡って継続的に利用するものなので、いかにストレス少なく効率的に出来るかが重要だと考えています。 また、CI/C

雨の日が気持ち良い季節ですね。 プロセスエンジニアリング課の礒です。こんにちは。 今回は ECS Fargateタスクに SSM からログインしたい方向けのTipsをご紹介します。 概要 まず、Amazon EC2 (以下 "EC2" )インスタンスや Fargate コンテナに AWS Systems Manager (以下 "SSM" )からログインするには、以下の作業が必要です。 (各機能の詳細については本記事では割愛させていただきます。) [インスタンス側] SSM エージェントのインストール [

はじめに はじめまして。 2021年2月から、インターンとしてデータ＆AIチームでデータエンジニア業務に携わっている金安です。 入社からの約半年間、データに関わる多種多様なタスクを経験させていただきました。 ここではエブリーでのデータ分析の様子を紹介するとともに、業務を通して学んだことを整理しようと思います。 いきさつ 私は大学で情報処理技術・人工知能技術について勉強しており、アカデミックな研究の道と、ものづくりに携わるエンジニアとで進路に迷っていました。 そのような中で、何となく参加した逆求人イベントで

Cloud Automatorでジョブの実行後、ログの詳細ページにて、操作対象のEC2インスタンスのインスタンス名を確認できるようになりました。

こんにちは！技術2課、濱岡です。 最近、ものすごく暑いですが、皆様いかがお過ごしでしょうか？ 私は暑くなると無性にカレーが食べたくなります。 しかもスパイシーなカレーが食べたくなる、、、暑さには変えられない、、、、 さて、今回はAmazon Redshiftの監査ログを別アカウントのS3へ設定する方法をやってみます。 どうやるの？ コンソール画面からだと自分のAWSアカウントのS3バケットしか選ぶごとができませんが、AWS CLIを利用すると別アカウントのS3を設定することができます。 以下の順序でやれば

自宅にサウナが欲しいCI部2課の山﨑です。 AWS Configの1つの機能であるConfig Rulesをパッケージ化したConformance Packs(適合パック)を使ってパッケージ単位でConfig Rulesを管理する方法を検証してみました AWS Configとは AWS Config Rulesとは 機能 構成チェック 修復アクション(Remediation) 料金体系 AWS Config Rules Conformance Packs(適合パック) とは 検証 1. AWSマネージドの

こんにちは！技術2課、濱岡です！ 最近、ぼっちテントを購入しました。 家で仕事をする時はぼっちテント内で仕事してます。 視界が遮れるので集中して仕事ができておすすめです。 さて今回は暗号化していないAmazon RDSを暗号化する方法をやってみます。 はじめに RDSを暗号化していない状態で作成すると実はあとで変更ってできないんですよね。 ドキュメントにも以下のように書かれています。 Amazon RDS DB インスタンスの暗号化は、DB インスタンスの作成時にのみ有効にすることができます。作成後に暗号