本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key カラムを 16 列を超えて設定可能かどうかを確認します。 データセット・テーブルの準備 -- データセット作成 CREATE SCHEMA IF NOT EXISTS pk_fk_dataset; -- 通常テーブル作成 CREATE OR REPLACE TABLE pk_fk_dataset.normal1 ( title STRING NOT

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、テーブルを作成した後に Primary key と Foreign key を設定し、既存テーブルも PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 2 つのテーブルを用意します。 pk1 fk1 このとき、pk1 と fk1 に

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key で値が重複しているとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 normal1 normal2 pk1 fk1 normal1 と normal

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 公式ドキュメント TABLE_CONSTRAINTS ビューには、以下のような記載があります。 主キーと外部キーの値の制約は適用されません。ユーザーは、各制約に値が一致することを確認する必要があります。そうしないと、誤った結果が生じる可能性があります。具体的な内容は以下のとおりです。 (中略) 主キーと外部キーは、BIGNUMERIC、BOOLEAN、DATE、DATETIME、I

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 BigQuery テーブルに Primary key を設定する場合、 CREATE TABLE ステートメント、追加する場合は ALTER TABLE ADD PRIMARY KEY ステートメントを使用すれば良いことは、比較的容易にわかります。 ただ、削除と変更方法は少しづらかったので、実際に試して確認してみます。 1. データセット・テーブルの準備 pk_drop_test

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、1 つのカラムに複数の Foreign key を設定したとき、PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 6 つのテーブルを用意します。 normal1 normal2 normal3 pk1 pk2 fk1 normal1

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、結合方法・PK / FK テーブルの位置・PK / FK テーブルのカラムの取得が変化したとき、内部結合・左外部結合・右外部結合で結合解除されるかどうかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルの timestamp カラムから TIME 型の time カラムを作成し、Prima

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Foreign key で GROUP BY した後、この Foreign key と Primary key で結合したときでも、正しい結果になるのか・PK / FKの効果を受けることができるのか確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Foreign key が Primary key に無い値を含むとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 normal1 normal2 pk1 fk1 norm

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 BigQuery テーブルに Foreign key を設定する場合、 CREATE TABLE ステートメント、追加する場合は ALTER TABLE ADD FOREIGN KEY ステートメントを使用すれば良いことは、比較的容易にわかります。 ただ、削除と変更方法は少しづらかったので、実際に試して確認してみます。 1. データセット・テーブルの準備 以下 2 つのテーブルを作

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています

要約 Analytics Hub でリンクされたデータセットでルーティンの使用がサポートになった。 実際に使ってみた。 考えられるユースケース 1. はじめに こんにちは、クラウドエース データML ディビジョン所属の泉澤です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリ

こんにちは。SCSK池宮です。 今回は、アクセス解析ツールとして有名なGoogle AnalyticsとBigQueryの連携を試してみます。 2つとも同じGoogleサービスのため相性がよく、実はとても簡単に（数回のクリックで）実現できます。 Google Analytics（GA）でできること まずは、GAって何ができるの？という方向けに、（かなりざっくり）サービスのご紹介です（既にご存知の方は読み飛ばしていただいて大丈夫です）。 Google Analyticsは自分のサイトを訪問してくれた人（達）

G-gen の杉村です。BigQuery のオンデマンドクエリの利用量にフタをする、つまりスキャンデータ量に上限を設けて突発課金を防止する工夫について紹介します。 はじめに 割り当て（Quota）の設定 Query usage per day 設定手順 割り当て画面へ遷移 対象の割り当てをフィルタ 編集ボタンをクリック 割り当てを設定 新しい割り当ての確認 動作確認 クエリのサイズ上限設定 クエリ単位での上限設定 設定手順（コンソール） クエリ設定を開く 詳細オプションの設定 動作確認 設定手順（bq コ

はじめまして。CADDiでバックエンドエンジニアとして働いている中野です。 この記事では、Cloud Data Fusionを利用して作成したデータパイプラインについてご紹介します。 TL;DR Salesforce とBigQuery間のデータ連携にHeroku Connectをこれまで利用していたのですが、Cloud Data Fusionに乗り換えることでダウンタイムなしで約1/8までコストダウンができました。 モチベーション 弊社では、 Salesforce に溜まったデータをBigQueryに連