G-genの杉村です。BigQuery への認証・認可は Cloud IAM によって制御されますが、その仕組みは複雑です。当記事では、仕組みを詳細に解説します。 はじめに BigQuery と認証・認可 IAM の基本概念 BigQuery 関連の IAM 権限の理解 ジョブ実行とデータアクセス ジョブ実行権限 データへのアクセス権限 読み取り権限 読み取り権限の検証 書き込み権限 メタデータへのアクセス権限 ロールが持つ IAM 権限 ユースケース別 IAM 設定 プロジェクトのすべてのデータセットに

こんにちは、技術本部 データシステム部 MLOpsブロックの平田（ @TrsNium ）です。約2年半ぶりの執筆となる今回の記事では、MLOps向け基盤を「Kubeflow Pipelines」から「Vertex Pieplines」へ移行して運用コストを削減した取り組みを紹介します。 目次 目次 はじめに Vertex Pipelinesとは Vertex Pipelinesへの移行 Vertex Pipelinesへ移行するワークフロー 1. ワークフローのKubeflow Pipelines SDK

G-gen の杉村です。Google Cloud（旧称 GCP）の証跡管理の仕組みである Cloud Audit Logs （Cloud Audit Logging）について解説します。 Cloud Audit Logs の基本 Cloud Audit Logs とは API リクエストとは Cloud Audit Logs で記録できるログ ログの出力先 料金 考え方 監査ログの料金 監査ログの種類 4 つの監査ログ No 1. 管理アクティビティ監査ログ No 2. データアクセス監査ログ No 3.

G-genの杉村です。 限定公開の Google アクセス （Private Google Access）機能を使うと、External IP アドレスを持っていない VM から、Google Cloud サービスの API にアクセスできるようになります。 限定公開の Google アクセスとは 仕様 利用するドメイン名 前提知識 デフォルトのドメイン名を利用する 特殊なドメインを利用する private と restricted の違い 2つのドメイン名の違い private.googleapis.c

G-genの杉村です。Google Cloud（旧称 GCP）の 請求やの仕組み や 請求先アカウント について解説します。 基本的な概念 概念と用語 請求先アカウントとは お支払いプロファイル 複数のプロジェクトと請求 無料枠 プロジェクトとの紐づけ 紐づけの基本 必要な IAM 権限 Google Cloud パートナーによる請求代行（請求代行） 請求代行の仕組み Marketplace に関する注意点 課金レポート 課金レポートとは レポートの見方とコツ 管理機能 予算アラート 異常検知（Anoma

こんにちは！G-genの小林です。みなさんGoogle Cloudはご利用されてますでしょうか？お客様とお話ししている中でGoogle Cloudを使ってみているけど、最初に何を設定しておくべきなのか分からなくて困っている、という声をよく伺います。当記事では、Google Cloudをセキュアに使うためにはどうするべきなのかについて説明します。 はじめに 最初に対応すべきチェックリストの確認方法 組織と ID ユーザーとグループ 管理者アクセス お支払い リソース階層 リソースのアクセス ネットワーキング

G-gen の杉村です。 Google Cloud Next '21 の What's new with BigQuery セッションで発表された新機能を、速報としてご紹介します。 BigQuery はじめに BigQuery Omni (GA) BigQuery Security & Governance for Data Lakes (Coming soon) BigQuery External Functions Analytics Hub (Preview) BigQuery Migrat

G-genの杉村です。本投稿では、 Google Cloud（旧称 GCP）のセキュリティ系サービスの中でも特に重要な VPC Service Controls について解説します。 概要 VPC Service Controls とは できること できないこと API リクエストとは 仕様 想定構成図 サービス境界 内向きルール 外向きルール 内向きルールと外向きルールの詳細 境界ブリッジ VPC 内のクライアントからの API リクエスト オンプレミスからの API リクエスト 実践 ユースケースと設

こんにちは。SRE部データ基盤チームの塩崎です。ZOZOテクノロジーズではGCPの管理を各プロジェクトのOwnerに任せていた時期が長く続いていましたが、今期から全社的なGCP管理者を立てることになりました。本記事では新米GCP管理者である僕が全社的なGCPの管理をする上で遭遇した事例を紹介します。時には泥臭い方法で、時にはプログラムの手を借りて自動化をし、数々の難題に対処しました。 GCPのリソース階層について 具体的な事例紹介の前に、GCPのリソース階層を説明します。多くのGCP利用者からは、プロジェ

こんにちは。SRE部DATA-SREチームの塩崎です。Software Design誌の2021年9月号に弊社でのBigQuery活用事例を寄稿しましたので、書店などで見かけた際は購入していただけますと嬉しいです。 gihyo.jp さて、BigQueryはコンピュートとストレージを分離することで高いスケーラビリティを達成しているData WareHouse(DWH)です。しかし、そのアーキテクチャを採用したがゆえに権限モデルが複雑化し、初心者にとって理解の難しい挙動をすることもあります。この記事ではBi

# Apache AirflowのPoCをした話 はじめに 弊社『DELISH KITCHEN』のデータプラットフォーム上では、日々発生するデータをLakehouseプラットフォームに集約しており、Databricks上で処理される多数のETLジョブが存在しています。しかし、現在利用しているジョブ管理ツールでは、Databricksのジョブ同士の依存関係を細かく設定することが出来ず、実行ジョブが肥大化してしまう問題があります。 これらを適切な粒度で依存関係を設定出来るようにするため、DAGによるワークフロ

はじめに はじめまして。 2021年2月から、インターンとしてデータ＆AIチームでデータエンジニア業務に携わっている金安です。 入社からの約半年間、データに関わる多種多様なタスクを経験させていただきました。 ここではエブリーでのデータ分析の様子を紹介するとともに、業務を通して学んだことを整理しようと思います。 いきさつ 私は大学で情報処理技術・人工知能技術について勉強しており、アカデミックな研究の道と、ものづくりに携わるエンジニアとで進路に迷っていました。 そのような中で、何となく参加した逆求人イベントで

こんにちは、データプラットフォームグループの樋口です。エンジニアとしてデータ基盤の構築・運用を約4年ほど担当しています。 今回は私達が「データの民主化」を目指してこれまでに取り組んできた事を振り返りながらご紹介したいと思います。 はじまり（2017年10月〜） 当時社内では以下のようなキーワードがトレンドでした。 データドリブン経営 データの民主化 データウェアハウス しかしデータが十分に活用されているのは一部の部署や施策に限られており、「データの民主化」と呼ぶには程遠い状態でした。 データのサイロ化 デ

はじめに こんにちは、EC基盤本部・MA部・MA基盤チームでマーケティングオートメーションのシステムを開発している長澤（ @snagasawa_ ）です。この記事では、社内で運用しているLINEメッセージ配信基盤の課題を、アーキテクチャ改善によって解決した話をご紹介します。 当時、LINEメッセージ配信基盤では、配信処理を担っていたApp Engineで2つの課題を抱えていました。「メモリ不足による配信処理の中断」と「リクエストタイムアウト後の意図しない処理の継続」です。一時はスケールアップによるメモリ増

こんにちは。Ltech運営チームの河西です。今回は、2021年7月13日(火)に開催した「Ltech#18 AIで住まい探しをスムーズに！【おとり物件予測＆3D間取り】」についてレポートします。 lifull.connpass.com Ltechとは Ltech(エルテック)とは、LIFULLがお送りする、技術欲をFULLにするイベントです。特定の技術に偏らず、様々な技術の話を展開していく予定です。 AIで住まい探しをスムーズに Ltech#18のテーマは、住まい探しをより便利にするためのAIを使った取り