本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、テーブルを作成した後に Primary key と Foreign key を設定し、既存テーブルも PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 2 つのテーブルを用意します。 pk1 fk1 このとき、pk1 と fk1 には Primary key / Foreign key をまだ設定しません。

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key で値が重複しているとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 normal1 normal2 pk1 fk1 normal1 と normal2 は通常テーブルです。 pk1 では、値が重複している id カラムを P

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 公式ドキュメント TABLE_CONSTRAINTS ビューには、以下のような記載があります。 主キーと外部キーの値の制約は適用されません。ユーザーは、各制約に値が一致することを確認する必要があります。そうしないと、誤った結果が生じる可能性があります。具体的な内容は以下のとおりです。 (中略) 主キーと外部キーは、BIGNUMERIC、BOOLEAN、DATE、DATETIME、INT64、NUMERIC、STRING、TIMESTAMP のいずれかのタイプに

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 BigQuery テーブルに Primary key を設定する場合、 CREATE TABLE ステートメント、追加する場合は ALTER TABLE ADD PRIMARY KEY ステートメントを使用すれば良いことは、比較的容易にわかります。 ただ、削除と変更方法は少しづらかったので、実際に試して確認してみます。 1. データセット・テーブルの準備 pk_drop_test テーブルを作成します。それぞれ id カラムを PK に設定します。 -- デー

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、1 つのカラムに複数の Foreign key を設定したとき、PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 6 つのテーブルを用意します。 normal1 normal2 normal3 pk1 pk2 fk1 normal1 と normal2、normal3 は通常テーブルです。 pk1 と pk

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、結合方法・PK / FK テーブルの位置・PK / FK テーブルのカラムの取得が変化したとき、内部結合・左外部結合・右外部結合で結合解除されるかどうかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルの timestamp カラムから TIME 型の time カラムを作成し、Primary key / Foreign key として利用します。 以下 4 つのテー

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Foreign key で GROUP BY した後、この Foreign key と Primary key で結合したときでも、正しい結果になるのか・PK / FKの効果を受けることができるのか確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 normal1 normal2 pk1 fk1 normal1 と norm

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Foreign key が Primary key に無い値を含むとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 normal1 normal2 pk1 fk1 normal1 と normal2 は通常テーブルです。 pk1 と fk1 は、そ

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 BigQuery テーブルに Foreign key を設定する場合、 CREATE TABLE ステートメント、追加する場合は ALTER TABLE ADD FOREIGN KEY ステートメントを使用すれば良いことは、比較的容易にわかります。 ただ、削除と変更方法は少しづらかったので、実際に試して確認してみます。 1. データセット・テーブルの準備 以下 2 つのテーブルを作成します。それぞれ id カラムを PK / FK に設定します。 pk_dr

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、Duet AI in BigQuery についてです

要約 Analytics Hub でリンクされたデータセットでルーティンの使用がサポートになった。 実際に使ってみた。 考えられるユースケース 1. はじめに こんにちは、クラウドエース データML ディビジョン所属の泉澤です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。

はじめに こんにちは、クラウドエース データML ディビジョン所属の篠田です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 1.概要 今回紹介するリリースは、Dataflow ジョブの推定費用が、Google

こんにちは。フルマラソンは 2 ヶ月前から準備する吉崎です。 マイナーな変更かもしれませんが、Cloud Run の新しいリビジョンをデプロイした際、十分なインスタンスが起動するようになったのをご存知でしょうか。 以下、短文ですのでリリースノートを転記します。 When deploying a new revision, Cloud Run now starts enough instances of the new revision before directing traffic to it. This reduces the impact of new revision depl

こんにちは。クラウドエース株式会社で Google Cloud 認定トレーナーをしている廣瀬 隆博です。近日中にカボチャなメタルバンドの講演を観に行く予定があり、最近は上機嫌に過ごしております。数年ぶりの来日なので楽しみ🤘 さて、実は上機嫌な理由がもう一つあります。いつの間にか提供されていた Professional ChromeOS Administrator を試しに受けてみたところ、見事に合格したんですね。何も準備していなかったのに取得できたのは素直に嬉しいところです。 ところで、この試験は過去に受験した Google Cloud 認定試験とは少し試験環境が異なっていました。今回の

こんにちは。日々何かに追われていて時間がないけど振り返ると何に追われていたのか分からなくなるクラウドエースの吉崎です。 2023 年 5 月 12 日のリリースにより Cloud Run のメモリ上限を設定できる「インメモリ ボリューム」という機能（プレビュー版）が利用できるようになりました。 本稿では従来の「インメモリ ファイルシステム」と今回リリースされた「インメモリ ボリューム」の違いに焦点を当て、その違いを説明します。 その他の Cloud Run のリリースが気になる方がいれば、下記の記事をご覧ください。 https://zenn.dev/cloud_ace/articles/

はじめに こんにちは、クラウドエース データML ディビジョン所属の寺内です。 データML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介するリリースでは、Storage Transfer Serviceにイベントドリブン転送という機能が追加されました。 本記事では、この機能の紹介と、実際にこの機能を使ってAWS S3 から Cloud Storage（以下、GC

はじめに こんにちは、クラウドエース データML ディビジョン所属の松山です。 データML ディビジョンでは、Google Cloudが提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 用語 本ページで頻出する用語について、下表にまとめておきます。 用語 説明 スロット BigQueryのクエリを実行するために使用する仮想CPUのこと。 予約 スロットを異なるワークロードまたは組織の異なる部分に割り

育休明けで Cloud Run のリリースに追いつけていなかった吉崎です。こんにちは。 本記事では 2023 年 4 月～ 2023 年 8 月の Cloud Run のリリースを総ざらいします。 なお、この期間のリリースの種類別数は下表の通りです。 FEATURE CHANGED ANNOUNCEMENT BREAKING 17 3 1 1 以下では、個人的に注目するリリースを紹介した後、月別リリースを紹介していきます。 注目のリリース サイドカーコンテナがデプロイ可能に(Preview) 最も注目を集めるリリースは、サイドカーコンテナがデプロイできるように

はじめに こんにちは、クラウドエース データML ディビジョン所属のZUMA SEAです。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。 その中でも重要と考えるリリースを本ページ含め記事として公開しています。 本記事では、皆様にPub/Sub の Cloud Storage サブスク

初めての方は、初めまして。そうでない方も、初めまして。クラウドエースのシステム開発部 SRE DivisionでProfessional Cooking Architectをしているzetaです。 INTRODUCTION 2021年の6月に取得したProfessional Cloud Architect(PCA)を更新してきたのですが、内容がかなり変わっていたのでそのレポートをする記事です。試験対策の参考にしてください。 WHAT IS Professional Cloud Architect ? PCAはGoogle Cloudの認定資格の一つです。公式の資格の建付けは以下の