はじめに IoT Connect Gatewayとは？ IoT Connect Gatewayの特徴 閉域網がなくてもセキュアにクラウド接続を実現 処理負荷がかかる暗号化処理をサービス側で実施 暗号化通信によるデータ転送量を抑制 クラウドアダプタ機能で各種クラウドサービスに簡単接続 IoT Connect Gatewayにかける思い CI/CDの取り組みとサービスリリース Infrastructure as Code Test as Code GitOps 個人的な思い 最後に 次回予告 ICGWに関する

はじめに こんにちは。アプリケーションサービス部 河野です。 最近 Glue の Python Shell ジョブを初めて触ったのですが、その際に検証した ETL 実装について備忘録として記載します。 検証では、以下処理を実行する単一の Python Shell ジョブを実装しました。 S3 から CSV ファイルをダウンロード CSV ファイルを Pandas DataFrame に読み込む データ加工（列を削除） Parquet に変換 S3 にアップロード ※ ジョブはコンソールから直接実行します。

概要 当エントリーでは、CSPM(Cloud Security Posture Management)製品の Trend Micro Cloud One - Conformity (以後 Conformity) の自動修復機能を設定手順と動作イメージを自分の備忘も兼ねて情報として残します。 概要 はじめに 導入手順 1.READMEの指定手順通りインストールを実施する Lambda関数 IAMロール SNSトピック 2. Conformity で Amazon SNSチャンネルを設定手順の確認 3. Am

はじめに こんにちは、LINE上で動くおくすり連絡帳 Pocket Musubiというサービスを開発している種岡です。この記事では、サービスをローンチしてから現在に至るまで、エンジニアの中で技術的負債とどう向き合って来たかをご紹介します。 概要 「日本の医療体験を、しなやかに。」のミッションのもと、Pocket Musubiローンチに向けて日々開発していました。開発過渡期を迎え、徐々に技術的負債が発生し始めましたが、その場ですべてを解消することはせず、一旦ローンチ後に取り扱いを検討することにしました。 そ

自分はAWS Clinet VPNを接続した後、よく切り忘れます。 切り忘れないように通知センターに通知されまくるようにしました。

こんにちは、最近はGoogle Cloudの記事を書いている上野です。（AWSももちろんやってます） 今回はCloud Asset Inventoryを見ていきます。 Cloud Asset Inventoryとは？ Google Cloud上の、アセットを管理できるサービスです。アセットとは、大きく以下の2種類を指します。 リソース Compute Engine 仮想マシン（VM）やCloud Storage バケットなどのGoogle Cloud上で作成されたリソースのメタデータ ポリシー IAMポリ

こんにちは、CI部 柿﨑です。 最近はダイエットに励んでおります！ 今回はAWS BackupでRDSのバックアップを取得していこうと思います。 数か月前に自動バックアップにも対応し、たまたま使用する機会があったため、記事に残すこととしました。 AWS Backupの詳細な解説はせず、RDSのバックアップ取得についてフォーカスします。 AWS Backup が Amazon RDS インスタンスの継続的なバックアップとポイントインタイムリカバリのサポートを追加 設定 AWS Backupルール RDS 確

こんにちは、SWX3人目の熊谷（悠）です。 困ったので備忘として残します。 結論 ユーザー名がssm-userのアカウントを作成しておく （アカウントのパスワードはポリシーに抵触しなければ何でも良い） 環境 ・AWSで公式のクイックスタートAMIを使用しました。 Microsoft Windows Server 2019 Base - ami-0f3651a900e33262f Microsoft Windows 2019 Datacenter edition. [English] ※SSM Agentが

こんにちは！ クラウドインテグレーション部（CI部）技術2課の反町です。 Amazon FSx for Windows File Serverを構築してクォータなどの設定をする機会があったのですが、ところどころはまった部分があったので注意点を含めつつ、設定手順を紹介したいと思います。（以下、FSxと記載します） 構成図 FSx設定手順 1. FSx接続用EC2をドメイン参加させる 2. PowerShellからFSxに接続 2-1. Active Directoryのユーザーでログインする 2-2. 接続

EC2インスタンスの運用には、AWS Systems Manager（以下、SSM）の活用が重要です。 SSMの動作には、EC2インスタンスのOS上で amazon-ssm-agent が起動している必要があります。 amazon-ssm-agentは頻繁にアップデートされているので、各インスタンスに手動で更新を適用するのは大変な手間です。 公式ドキュメントでは、自動更新が推奨されています。 docs.aws.amazon.com ということで、やってみましょう。 設定前の状況 AWS Systems M

はじめに こんにちは。ブランドソリューション開発部の蔭山です。普段は Fulfillment by ZOZO （以下FBZ）というサービスを担当しています。FBZはZOZOTOWNの倉庫や物流システムをブランドさんの自社ECでご利用いただけるサービスです。 先日、FBZが稼働しているシステムについて、サービスを停止することなくマルチAZ化しました。サービスを停止せずにシングルAZ環境からマルチAZ環境へ切り替えるため、様々な調査や事前準備をした結果、無事故で切り替えることができました。この記事では、実際に

CI部の古川（と）です。最近はゴーヤにはまっています。 ITの世界に足を踏み入れ1年4か月経ち、初めて「無限ループ」を体験しました。 とても恐ろしかったです。 本ブログは自分に対する戒めと共に無限ループには気をつけようという啓蒙を意図しています。 はじめに 無限ループが発生した原因 該当チュートリアルで無限ループさせない方法 ちなみに料金は... 最後に はじめに S3へファイルをPUTしたことをトリガーにしてStep Functionsステートマシンを起動させたい！ という思いで、以下の公式チュートリア

こんにちは。AWS CLIが好きな福島です。 はじめに Gitとは GitHubとは Gitの仕組み ステージングエリアの必要性 Gitのコマンド config configの一覧 configの設定 configの取り消し init status add ステージングエリアへファイルの追加 ステージングエリアからファイルを削除 commit ローカルリポジトリへファイルのコミット diff 作業ディレクトリ⇔ステージングエリア ステージングエリア⇔ローカルリポジトリ log rm restore ローカ

# Apache AirflowのPoCをした話 はじめに 弊社『DELISH KITCHEN』のデータプラットフォーム上では、日々発生するデータをLakehouseプラットフォームに集約しており、Databricks上で処理される多数のETLジョブが存在しています。しかし、現在利用しているジョブ管理ツールでは、Databricksのジョブ同士の依存関係を細かく設定することが出来ず、実行ジョブが肥大化してしまう問題があります。 これらを適切な粒度で依存関係を設定出来るようにするため、DAGによるワークフロ

こんにちは、上野です。 前回に引き続き、Google Cloudのセキュリティ設定第２弾です。今回は監査ログ（Cloud Audit Logs）です。 監査ログは「誰が、いつ、どこで、何をしたか」を残すログで、AWSだとCloudTrailですね。目的はAWSと同じなのですが、設定方法や見え方がけっこう異なるので、概要を掴みつつ追加の保存設定を見ていきます。 Google Cloudの監査ログ 監査ログには、管理アクティビティ監査ログ、データアクセス監査ログ、システムイベント監査ログ、ポリシー拒否監査ログ