G-genの杉村です。Google Cloud（旧称 GCP）の認定資格である Associate Data Practitioner 資格の試験対策に有用な情報を記載します。基本的な情報 Associate Data Practitioner とは難易度出題傾向試験対策 ETL と ELT ETL と ELT の基本オープンソースツールとフルマネージドサービス Cloud Data Fusion イベントドリブンアーキテクチャデータベースの選択 BigQuery BigQuery の基本 ELT と ETL 半構造化

Dataplex のデータリネージ機能を BigQuery で試してみた

2024/11/01

ブックマーク

こんにちは、クラウドエース第三開発部の丸山です。本記事では、Google Cloud で提供されている Dataplex の機能の一部である「データリネージ」機能をご紹介します。データリネージとはデータリネージ (Data Lineage) とは、システム内のデータの移動を追跡するプロセスのことを指します。データの送信元、データの送信先、データに適用される変換など、データのライフ

Amazon Redshift との Amazon DynamoDB ゼロ ETL 統合の始め方

2024/10/24

ブックマーク

Amazon DynamoDB と Amazon Redshift のゼロ ETL 統合の一般提供(GA)を発表できることをうれしく思います。これにより、DynamoDB 上の本番ワークロードへの影響をほとんどまたはまったく与えることなく、Amazon Redshift で DynamoDB データに対して高パフォーマンスな分析を実行できます。データが DynamoDB テーブルに書き込まれると、Amazon Redshift でシームレスに利用できるようになるため