「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全673件中 31 - 45件目
Aurora Blue/Green Deploymentsによるダウンタイムを最小限に抑えたメジャーアップグレードの実現
2024/11/22
ブックマーク
はじめに こんにちは、SRE部プラットフォームSREブロックの石田です。普段はZOZOTOWNのSREを担当しています。 Amazon Aurora MySQL（以降、Aurora MySQL）のv2系の標準サポートが2024年10月31日に終了しました。私たちのチームではZOZOTOWNのID基盤で使用するAurora MySQLをv2系からv3系へアップグレードしました。ユーザ影響を抑えたアップグレードの実現のため、Amazon Aurora Blue/Green Deployments
複雑なイベント駆動型アーキテクチャに役立つ Eventarc Advanced を紹介
2024/11/20
ブックマーク
こんにちは。クラウドエース第一開発部の竹内です。 本記事では2024年10月30日にプレビュー版がリリースされた Eventarc Advanced について紹介します。 Eventarc Advanced を使用すると、さまざまなサービス、アプリ、システム間でメッセージを受信、フィルタリング、変換、ルーティング、配信できます。 はじめに: Eventarc とは Eventarc はソースからターゲットへイベントを非同
Amazon SageMaker Canvas でノーコード機械学習を行うために Google Cloud Platform BigQuery からデータをインポートする
2024/11/20
ブックマーク
現代のクラウド中心のビジネス環境では、データが複数のクラウドやオンプレミスのシステムに分散していることが多くあります。この断片化は、お客様が機械学習 (ML) イニシアチブとして、データを統合し、分析する作業を複雑にしています。 本稿では、さまざまなクラウド環境の中でも Google Cloud Platform (GCP) BigQueryに焦点を当て、データソースを移動することなく、デ
駆け出しエンジニアのための新規領域の学習方法と実装の流れ
2024/11/18
ブックマーク
はじめに こんにちは、クラウドエース第一開発部所属の上原です。 本記事では、駆け出しデータエンジニアである私が、会社からの課題である データ分析基盤構築課題 (以下、基盤構築課題) に取り組む中で感じたり実践したりした おすすめの学習方法と、実際の課題への取り組みについて紹介していきます。 この記事の目的は、新規領域全般に触れる際のおすすめの
Pub/SubのCloud Storage import topicを使ってみた
2024/11/18
ブックマーク
G-gen の杉村です。Pub/Sub の Cloud Storage インポートトピック （Cloud Storage import topic）を使うと、事前に指定した Cloud Storage バケットに Put されたテキストオブジェクトを、ノーコードで Pub/Sub トピックにパブリッシュし、簡単に Pub/Sub サブスクリプションに配信できます。 前提知識 Cloud Storage インポートトピックとは 設定値 検証の概要 環境構築 サービスエージェントへ IAM
conftestを使った権限変更のブロックについて
2024/11/14
ブックマーク
この記事は、LUUPのTVCM放映に合わせた一足早い「Luup Developers Advent Calendar 2024」の14日目の記事です。 こんにちは、SREチームの髙橋です。 今回は、RegoとConftestで実現するTerraformのポリシーチェック自動化についてご紹介します。 はじめに インフラコードの管理において、適切な権限管理とポリシーの徹底はセキュリティーを守る上で非常に重要です。そこで、柔軟なポリシ
Google Cloud コンソールから直接マテリアライズドビューのレプリカを作成する
2024/11/13
ブックマーク
Google Cloud コンソールから直接マテリアライズドビューのレプリカを作成する はじめに こんにちは、クラウドエース第一開発部の谷です。 本記事では、2024年9月30日にリリースされた、「Google Cloud コンソールから直接マテリアライズドビューのレプリカを作成する方法」についてご紹介します。 また、同時にマテリアライズドビューのレプリカを作成するまでを検証しま
Associate Data Practitioner試験対策マニュアル
2024/11/12
ブックマーク
G-genの杉村です。Google Cloud（旧称 GCP）の認定資格である Associate Data Practitioner 資格の試験対策に有用な情報を記載します。 基本的な情報 Associate Data Practitioner とは 難易度 出題傾向 試験対策 ETL と ELT ETL と ELT の基本 オープンソースツールとフルマネージドサービス Cloud Data Fusion イベントドリブンアーキテクチャ データベースの選択 BigQuery BigQuery の基本 ELT と ETL 半構造化
【GCP】Cloud Pub/SubをトリガーにしたDataFusionリアルタイムパイプラインを作成する
2024/11/11
ブックマーク
GCPのCloud Data Fusionはデータパイプラインを作成、管理できるサービスです。Data FusionとCloud Pub/Subを組み合わせることで、日々発生するデータをリアルタイムにDWHへ格納することができます。 今回はデータをリアルタイムにDWHへ連携するパイプラインを、Cloud Data Fusion上に構築してみたいと思います。 作成方法と作成時のポイントを記載します。 使用するサービスの概要 Clo
Monthly Tech Report 2024年10月
2024/11/07
ブックマーク
DevRelブロック改めDeveloper Engagementブロックの @ikkou です。ZOZO開発組織の1か月の動向をMonthly Tech Reportとしてお伝えします。 ZOZO TECH BLOG 2024年10月度は11本の記事を公開しました。10月度は 10月15日に正式ローンチを迎えたZOZOMETRY の関連記事を集中的に4本公開しています。11月中にもう1本ZOZOMETRY関連記事を公開する予定です。 techblog.zozo.com techblog.zozo.com techblog.zozo.com techblog.zozo.c
BigQuery Transfer Service を用いたデータ連携 〜 リージョン × 暗号化方式における可否 〜
2024/11/06
ブックマーク
こんにちは、クラウドエース第四開発部に所属している笠原です。 今回は BigQuery (以下、 BQ) のデータ連携について、案件で直面した課題に対し、調査の結果得た示唆を記載したいと思います。 リージョン間をまたぐデータセットの同期を取ろうとした時に、送信元と受信元のデータセットのリージョンと暗号化方式において、BigQuery Data Transfer Service (以下、BQ Transfer) が
FourKeys風の指標で開発生産性が4.5倍になった話
2024/11/06
ブックマーク
こんにちは、FANTECH本部の山下(@takecy)です。 エンジニアリング活動の計測や可視化、難 ...
Google CloudのIAMで最小権限の原則を実現する方法
2024/11/05
ブックマーク
G-gen の杉村です。当記事では、Google Cloud の IAM（Identity and Access Management）で最小権限の原則を実現するための手段をご紹介します。 IAM と最小権限の原則 過剰な権限を予防する IAM の仕組みを正確に理解する IAM 権限を操作できる人を限定する 一時的な特権の管理 すでに付与された権限を整理する IAM Recommender Policy Analyzer Cloud Assets Inventory IAM と最小権限の原則 IAM （Identity a
新BIツール「Superset」を導入した話
2024/11/04
ブックマーク
こんにちは。Data Engineeringチームの河野(@matako1124) です！ 今年のData Engineering業務としてデータマネジメントからデータ活用促進の仕組み化まで幅広く活動してきましたが、その中でも特に事業にインパクトの大きい変革のお話をしていこうと思います。 結論から言うと、Supersetの新規導入とRedashからの乗り換えを試みています。 注意 執筆に当たり細心の注意を払っており
Dataplex の データリネージ機能を BigQuery で試してみた
2024/11/01
ブックマーク
こんにちは、クラウドエース第三開発部の丸山です。 本記事では、Google Cloud で提供されている Dataplex の機能の一部である 「データリネージ」機能をご紹介します。 データリネージとは データリネージ (Data Lineage) とは、システム内のデータの移動を追跡するプロセスのことを指します。 データの送信元、データの送信先、データに適用される変換など、データのライフ