こんにちは、カケハシの横田です。今回は我々の会社で実践しているテクノロジーについてお話しします。我々の開発チームは、日々 Apache Spark を活用し 100 個以上のバッチ処理を運用する中で、 AWS Glue という Apache Spark のマネージドサービスに大いにお世話になっています。 しかし、バッチ処理のテストを行う際にはいくつかの課題に直面します。特に想定外のデータへの網羅性を確認することが難しく、それを検証するために今までは本番データを使って毎回確認を行っていました。そうすると、1

はじめに こんにちは。ニフティ株式会社の添野翔太です。 今回はモノレポ用のデプロイパイプラインを構築した話を共有します。 背景 現在、 @niftyトップページ ではアプリケーション基盤の刷新を進めていますが、その過程で一部においてモノレポを採用しています。このリポジトリは、Web3層アーキテクチャにおけるWeb層にあたるもの、App層にあたるもの、およびその他のバッチ処理からなる構成です。 デプロイパイプラインの構築には、Github ActionsとCodeシリーズ（AWS CodePipeline、

はじめに ! 2024/02 Update!! 一部情報を最新の情報へアップデートしました。 追記した情報は、各章に記載しておりますのでご確認ください。 こんにちは、クラウドエースでSREディビジョンに所属している Shanks と申します。 2023/06/01 に Cross-Cloud Interconnect（以降、CCIと呼ぶ。）という Cloud Interconnect の派生機能が新たに追加されました。 これまで、CCI の概要をまとめた記事と、実際に構築をして手順と注意点を確認した記事を

はじめに こんにちは。プラットフォームGのOperationToolManagerチームでPlatformEngineeringとかツール周りの開発・運用の役割の島村です。 同じくプラットフォームGのOperationToolManagerチームで内製ツールの開発を行っている山田です。 KINTOテクノロジーズではAmazon ECS＋Fargateをアプリケーション実行基盤として使用しています。また、CICDについてはGitHubActionsを使用しています。 AWSのECSにおけるBlueGreen

はじめに 基幹システムグループ 湊谷です。 突然ですが、皆さんGithub Actionsって使っていますか？ GitHub Actions は、ビルド、テスト、デプロイのパイプラインを自動化できる継続的インテグレーションと継続的デリバリー (CI/CD) のプラットフォームです。 リポジトリに対するすべての pull request をビルドしてテストしたり、マージされた pull request を運用環境にデプロイしたりするワークフローを作成できます。 https://docs.github.com

はじめに 本連載は、システム開発に必要な知識を得るために、一通りの流れを学ぶことを目指しています。今回はGitHubのCLI環境の構築方法を解説します。 CLIとは？ GUIとは？ CLI (Command Line I […]

みなさんこんにちは、 電通国際情報サービス （ISID）X イノベーション 本部ソフトウェアデザインセンターの佐藤太一です。 この記事では、 VS Code のDev Containerを使ってOSに依存しない Python の開発環境を構築する方法をステップ バイス テップで丁寧に説明します。 VS Code の利用経験があり、また Python によるアプリケーション開発に興味のある方を想定読者として記述しています。 Python の初心者から中級者向けを意識して書いていますので、意図して冗長な説明を

みなさんこんにちは、 電通 総研コーポーレート本部システム推進部の佐藤太一です。 この記事では、 VS Code のDev Containerを使ってOSに依存しない Python の開発環境を構築する方法をステップ バイス テップで丁寧に説明します。 VS Code の利用経験があり、また Python によるアプリケーション開発に興味のある方を想定読者として記述しています。 Python の初心者から中級者向けを意識して書いていますので、意図して冗長な説明をしています。 すでに Python によるア

G-gen の藤岡です。当記事では、Terraform と Ansible を組み合わせて、Google Cloud（旧称 GCP）のネットワークリソースの作成をします。 サービスの概要 Terraform とは Ansible とは Terraform と Ansible の違い 検証の背景 前提 構成 インスタンス情報 ディレクトリ構成 Playbook の解説 Terraform のインストール Ansible のインストール ADC の設定と Terraform の初期化 構文チェック リソースの

こんにちは、SREディビジョンの松島です。 この記事では Workload Identity 連携の機能紹介と、GitHub Actions から Google Cloud を操作するハンズオンを行います。 Workload Identity 連携とは 外部のワークロードに対して Google Cloud のサービスアカウントの権限を利用させることができる機能です。 AWSや、OpenID Connect、SAML 2.0 について Workload Identity による ID の連携が可能となってい

こんにちは。2022年11月に株式会社タイミーに入社した sinsoku です。 最近は GitHub Actionsの YAML を書く機会が多く、 YAML も複雑化してきました。 しかし、日常的に YAML を触っている職人以外にはパッと読めないことも多いので、社内の方々が読めるように GitHub Actionsの YAML の書き方をまとめたいと思います。 目次 三項演算子 環境変数（env） 変数（outputs） 関数（workflow_call） 関数 + 配列（dynamic matri

はじめに 愛車をリフォーム・アップグレードできるサービス KINTO FACTORY プロジェクトに参画している金谷です。今回は、JIRAとGitHub Actionsを活用し、複数環境へのデプロイのトレーサビリティを向上した取り組みを紹介します。 なお前回は、決済チームで リモートモブプログラミングに関する記事 を書きました。 背景と課題 私はKINTO FACTORYプロジェクトの開発工程の後半から参画しました。プロジェクトのうちECサイトのフロントエンドチームリーダーを担当することになりましたが、担

要約 クラウドエースの北野です。 Cloud Buildのビルドをプライベートプールで実行する方法を紹介します。 プライベートプールでのビルド実行の流れは、以下の通りとなります。 プライベートプールの作成 ビルド構成ファイルの実行環境の箇所にプライベートプールの指定 ビルド構成ファイルの定義する箇所: options.pool.name プライベートプールのIDの形式: projects/<PROJECT_ID>/locations/<REGION>/workerPools/&lt

はじめに こんにちは、イノベーションセンターの鈴ヶ嶺です。 普段はクラウドサービスをオンプレミス環境でも同様のUI/UXで使用を可能とするハイブリッドクラウド製品の技術検証をしています。 過去に我々はAWS Outposts ラックの検証内容を公開しました。 engineers.ntt.com 今回本記事では、新たに導入したAWS Outposts サーバーの仕様、導入方法、利用方法について徹底解説します。 AWS Outposts とは AWS Outpostsは、AWSのハイブリッドクラウド製品です。