はじめに こんにちは。プラットフォームサービス本部 データプラットフォームサービス部でSmart Data Platform(SDPF)のサービス企画を行っている小野・砂田です。 ご覧頂きありがとうございます。我々は当社が提供しているSDPFサービスを組み合わせた具体的な事例紹介をしております。 前回の 第3回 では、Flexible Remote Accessを利用しながら、合わせて適切なログ保存を行って運用していくユースケースを説明させて頂きました。 今回は、現在も利用拡大が続いているIoT関連サービ

はじめに こんにちは。MA部MA施策・運用改善チームの辻岡です。MA部では、ZOZOTOWNのメルマガ・アプリPUSH通知などの配信・分析等の用途で約数十TBのデータを運用しています。今回は長年MAのデータ基盤として利用してきたオンプレDWHをBigQueryに移行したおはなしをします。 この記事はこんな方におすすめ オンプレDWHからBigQuery移行を検討・実施してる方 ジョブ・スケジューラ、ETLツールの移行を検討・実施してる方 概要 オンプレDWHからBigQuery移行する前後の構成イメージを

はじめに こんにちは、データシステム部データ基盤ブロックSREの纐纈です。 本記事では、過去に遡ってBigQueryのデータを参照する方法（以下、タイムトラベルと呼びます）をご紹介します。また、この機能はBigQueryが提供している、変更または削除されたデータにアクセスする タイムトラベル とは異なることをご了承ください。 開発背景 この機能は過去データを日次スナップショットより細かい粒度で見たい、また障害対応時に障害発生前などピンポイントで時間指定して参照したいという要望を受け、開発することになりまし

はじめに こんにちは。ブランドソリューション開発本部 WEAR部 SREの笹沢（ @sasamuku ）です。 FAANS はショップスタッフの効率的な販売をサポートするスタッフ専用ツールです。FAANSの一部機能は既にリリースされており全国の店舗で利用いただいております。正式リリースに向け、 WEAR と連携したコーディネート投稿機能やその成果をチェックできる機能などを開発中です。 FAANSのコンテナ基盤にはCloud Runを採用しており、昨年に SREとしての取り組み をテックブログでご紹介しまし

こんにちは、子供の寝かしつけ後の歩き方がほぼASIMOになる志水です。 手動で構築したAWSリソースをIaCで利用したいケースは、IaCを導入するタイミングや導入後急ぎの運用で手動追加したタイミングなどで出てきます。 そのとき真っ先に浮かぶIaCツールはTerraformかと思われます。 Terraformだと terraform import でインポートでき、 terraform plan で差分確認をして対象のリソースとコードの差を見つつ取り込みが可能です。また、 terraform show でイ

はじめに 本記事では、社内で開催したMLコンテストの計算環境の準備や権限管理に関する話をします。 コンテストの概要や問題設定

はじめに こんにちは、イノベーションセンターの鈴ヶ嶺です。 engineers.ntt.com engineers.ntt.com 第1回、第2回に引き続きAWS Outposts ラックについて紹介していきます。 本記事では、 Terraform 　を用いてOutposts上でオンプレ環境からのみ管理・アクセス可能なPrivate Elastic Kubernetes Service(EKS) を構築する方法を紹介します。 Terraform Terraformとは、 HashCorp が提供するインフ

はじめに これまでさくらインターネットでは、学校や学生さんを支援する活動を様々な形で行ってきました。今回はその中から、雙峰祭への「さくらのクラウド」環境支援の事例を、実行委員をされた３名の方（小谷優空さん、小川広水さん、 […]

TerraformでAWS Lambda Layers（以下レイヤー）を扱う際のアレコレをまとめたいと思います。 Lambdaレイヤーのバージョンについて Lambda関数からLambdaレイヤーを使う際は、レイヤーに付与されているバージョンを指定することとなります。 このバージョンはレイヤーのコードを更新する際に、インクリメントされます。 したがって、Lambda関数から、更新されたレイヤーを参照したい場合は、Lambda関数側で参照するレイヤーのバージョンも更新する必要があります。 1点注意が必要なの

はじめに 高橋 (ポインコ兄) です。 今回は Terrafoarm で AWS Single Sign-On (SSO) を作成してみます。 AWS SSO の基本的な部分については、以下ブログが参考になると思います。 blog.serverworks.co.jp また、Terraform についてはこちらをどうぞ。 blog.serverworks.co.jp 今回使用する SSO についての Terraform AWS Document です。 以下の Resource と Data Source

こんにちは、WEAR部の繁谷です。SREとして WEAR の運用・保守・開発をしています。 WEARでは、 以前の記事 で説明した通り、画像配信のリプレイスを行ってきました。本記事ではSRE観点で画像配信のリプレイスや Akamai Image & Video Manager （以下、Image Manager）を利用した画像リサイズの導入の事例を説明します。 techblog.zozo.com WEARにおける画像配信の課題 前述の記事でも紹介している通り、リプレイス前のWEARの画像配信は下図

こんにちは。エンジニアのEadaedaです。 皆さんのチームではGithub Actionsで aws-actions/configure-aws-credentials を使っていますか？GitHub ActionsでAWS SDKやAWS CLIを使うために必要なクレデンシャルなどを設定してくれるactionで、我々のチームでは最近かなり利用するようになりました。 github.com 使うためにはIAM IDプロバイダが必要で、そのリソース管理をTerraformで行っているというパターンは多いと思

みなさん、こんにちは！ISID FS事業部 市場系ソリューション1部の寺山です。 本日は2022年2月22日ということで、2が5つ並んでいる貴重な瞬間です（しかも ニャンニャン ニャンの日！私猫を3匹飼ってます）。次に同じ数字が5つ以上並んでいる日を迎えるのは、90年後なのですが、私はその時何をしているでしょうかね。。。？（笑） 私は現在、汎用的なマイクロサービスアプリケーション開発プロジェクト内で、このアプリをホストする クラウド インフラスト ラク チャのコード化（Infrastructure as

みなさん、こんにちは！ISID FS事業部 市場系ソリューション1部の寺山です。 本日は2022年2月22日ということで、2が5つ並んでいる貴重な瞬間です（しかも ニャンニャン ニャンの日！私猫を3匹飼ってます）。次に同じ数字が5つ以上並んでいる日を迎えるのは、90年後なのですが、私はその時何をしているでしょうかね。。。？（笑） 私は現在、汎用的なマイクロサービスアプリケーション開発プロジェクト内で、このアプリをホストする クラウド インフラスト ラク チャのコード化（Infrastructure as

こんにちは、データ基盤の開発・運用をしている谷口（ case-k ）です。 本記事では、BigQueryで秘密情報を守るためのリソースである、ポリシータグをご紹介します。ポリシータグの概要から採用理由、仕様を考慮したデータ連携の仕組みや運用における注意点まで幅広くお伝えします。 ポリシータグとは ポリシータグを採用した理由 匿名化による機密性の高さ 機密性と利便性の両立 データ基盤を保守運用しやすい 秘密情報をテーブルに新規追加しやすい 秘密情報の権限管理がしやすい ポリシータグを活用したデータ連携の仕組