こちらの記事はDatabricks Advent Calendar 2023の16日目の記事になります。 こんにちは。カケハシのデータ基盤チームでデータエンジニアをしている松田です。カケハシでは、2022年7月ごろから全社的なデータ活用基盤のプラットフォームとしてDatabricksを採用し、1年以上経過しました。 今回の記事では、DynamoDBの変更データキャプチャ（CDC）データを利用して、ニアリアルタイムにDatabricksへデータを取り込んだことについての投稿になります。 DynamoDBのC

こんにちは、タイミーのデータ統括部、DRE（Data Reliability Engineer）グループ & DS（Data Science）グループ所属の筑紫です。 DSグループではML基盤の構築・運用保守を担当しています。 本記事では、ML基盤を再構築した話を紹介したいと思います。 ※ Timee Advent Calendar2023 のシリーズ 2の12月13日分の記事です。 経緯と課題 DSグループでは、様々なプロジェクトのML基盤を構築しています。 当初は、1つのCloud Compo

開発した背景 株式会社リクルートでデータエンジニアとして働いている宮井です。普段はインフラ寄りのデータエンジニアとして社内

こんにちは、今年の4月に新卒で入社したデータエンジニアの中村です。 この記事は Enigmo Advent Calendar 2023 の11日目の記事です。 入社してからは、社内のデータを利用者がより使いやすくなるように、データ基盤の整備・データ連携を進めております。 最近弊社のデータ基盤をTerraformによる管理に移行するタスクに取り組んでいるので、どのような ディレクト リ構成を採用したか説明していこうと思います。 データ基盤をこれからTerraform化しようとしている方に有益な情報となれば幸

はじめに 初めまして、KINTOテクノロジーズ株式会社(以降、KTC)でプラットフォームグループのCloud Infrastructure Teamでクラウドインフラエンジニアをしている白井です。 普段はAWSで構築されているシステムのインフラ構築、および設計を行っています。趣味は、卓球とゲームです。最近だとスーパーマリオRPGがリメイクされたのを購入し、思い出に浸りながらプレイしています。 今回は、KTCで構築しているCloudFront FunctionsのDeployのプロセスと運用カイゼンをしたお

この記事は LabBaseテックカレンダー Advent Calendar 2023 の 10 日目です。 https://qiita.com/advent-calendar/2023/labbase はじめに 今回 SvelteKit 製の Web サービスを Cloudflare Pages にデプロイする方法をセットアップしたので、その手順と内容について解説します。 Cloudflare Pages は、 GitHub と連携させてリポジトリを更新したときに自動でデプロイされるような使い方が一般的だ

本記事は 【Advent Calendar 2023】 8日目の記事です。 🎄 7日目 ▶▶ 本記事 ▶▶ 9日目 🎅 こんにちは小山です。 今まで担当した案件ではIaCツールでインフラ構築を実施する機会が多くありました。その経験をもとに、それぞれの特徴についてまとめてみようと思います。 今回対象とするIaCツールはTerraform,CloudFormation,AWS CDKの3つとさせていただきます。 AWSで環境構築する際だいたいこの3つが選択肢に入るんじゃないかなと思います。 ではそれぞれどのよ

この記事は Finatextグループ10周年記念アドベントカレンダー の7日目の記事です。 昨日は大木さんが「 AWS re:Invent 2023に参加してきました 」という記事を公開しています。 はじめに こんにちは、Finatextグループの ナウキャスト でデータエンジニアをしている六車( X: @mt_musyu )です。 Terraformを導入してIaC化をしたのちに、IaCのコードレビューの仕組み、安全なTerraform Applyの仕組みを構築することが必要になります。 ナウキャストで

この記事は、 ニフティグループ Advent Calendar 2023 7日目の記事です。 こんにちわ！NIFTY engineering運用チームのいかりがわです！ 今回はWordPressのテーマをGitHub管理できるようにし、EC2に自動でデプロイするようにしたので、その手法をまとめていきたいと思います。 背景 私たちが運用しているNIFTY engineeringでは、何らかの変更があったときは FileManager というWordPressのファイル管理用プラグインを使って手動で変更を加え

この記事はTimee Advent Calendar 2023シリーズ 2の5日目の記事です。 はじめに DREグループの石井です。 今回はDREグループの管理するデータ基盤に関するインフラのterraformのテスト環境の話をしようと思います。 導入前の課題感 我々のチームではデータ基盤として複数の GCP Projectを管理していますが、その全てをterraformで管理しています。 この時点でGithubActionsによる自動テスト(validate, plan) 及び 自動デプロイは導入されて

こんにちは。X（クロス） イノベーション 本部 クラウド イノベーション センターの柴田です。 この記事は 電通国際情報サービス Advent Calendar 2023 の5日目の投稿です。 前日の記事は宮澤さんの「Jira Automationで作成した変数のスコープについて」でした。 はじめに 入力変数の検証 概要 設定方法 検証 オブジェクトの事前条件と事後条件の検証 概要 ユースケース 設定方法 リソース、データソース 出力 検証 構築したインフラストラクチャの check による検証 概要 ユ

こんにちは。X（クロス） イノベーション 本部 クラウド イノベーション センターの柴田です。 この記事は 電通国際情報サービス Advent Calendar 2023 の5日目の投稿です。 前日の記事は宮澤さんの「Jira Automationで作成した変数のスコープについて」でした。 はじめに 入力変数の検証 概要 設定方法 検証 オブジェクトの事前条件と事後条件の検証 概要 ユースケース 設定方法 リソース、データソース 出力 検証 構築したインフラストラクチャの check による検証 概要 ユ

こちらの記事は カケハシ Advent Calendar 2023 の3日目の記事になります。 こんにちは、カケハシで Musubi AI在庫管理 の開発をしているMLエンジニアの藤本です。 Musubi AI在庫管理 ではS3に出力している内容に関する分析用テーブルの管理にAWS Glue Crawlerを利用しています。 今回は、分析用テーブルを管理する際のAWS Glue Crawlerの使い方と注意点について紹介できればと思います。 Musubi AI在庫管理でのAWS Glue Crawlerの

クラウドエースの北野です。 Terraform には組込み関数や型制約の関数など多数準備されています。その中でも開発でよく使っている関数を紹介します。 概要 紹介する関数は以下の通りです。 関数名 機能概要 使い方例 種類 format 文字列結合 format("%s-%s", var.name, local.prefix) 組込み distinct 配列の重複排除 distinct(["a", "b", "a", "b"]) 組込み flatten 配列の入れ子構造の平坦化 flatten([["a"

Terraform で Resorces や Modules を使用して、セキュリティグループを作成してみる