本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Foreign key で GROUP BY した後、この Foreign key と Primary key で結合したときでも、正しい結果になるのか・PK / FKの効果を受けることができるのか確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 normal1 normal2 pk1 fk1 normal1 と norm

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Foreign key が Primary key に無い値を含むとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 normal1 normal2 pk1 fk1 normal1 と normal2 は通常テーブルです。 pk1 と fk1 は、そ

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 BigQuery テーブルに Foreign key を設定する場合、 CREATE TABLE ステートメント、追加する場合は ALTER TABLE ADD FOREIGN KEY ステートメントを使用すれば良いことは、比較的容易にわかります。 ただ、削除と変更方法は少しづらかったので、実際に試して確認してみます。 1. データセット・テーブルの準備 以下 2 つのテーブルを作成します。それぞれ id カラムを PK / FK に設定します。 pk_dr

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、Duet AI in BigQuery についてです

要約 Analytics Hub でリンクされたデータセットでルーティンの使用がサポートになった。 実際に使ってみた。 考えられるユースケース 1. はじめに こんにちは、クラウドエース データML ディビジョン所属の泉澤です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。

はじめに こんにちは、クラウドエース データML ディビジョン所属の篠田です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 1.概要 今回紹介するリリースは、Dataflow ジョブの推定費用が、Google

こんにちは。フルマラソンは 2 ヶ月前から準備する吉崎です。 マイナーな変更かもしれませんが、Cloud Run の新しいリビジョンをデプロイした際、十分なインスタンスが起動するようになったのをご存知でしょうか。 以下、短文ですのでリリースノートを転記します。 When deploying a new revision, Cloud Run now starts enough instances of the new revision before directing traffic to it. This reduces the impact of new revision depl

こんにちは。クラウドエース株式会社で Google Cloud 認定トレーナーをしている廣瀬 隆博です。近日中にカボチャなメタルバンドの講演を観に行く予定があり、最近は上機嫌に過ごしております。数年ぶりの来日なので楽しみ🤘 さて、実は上機嫌な理由がもう一つあります。いつの間にか提供されていた Professional ChromeOS Administrator を試しに受けてみたところ、見事に合格したんですね。何も準備していなかったのに取得できたのは素直に嬉しいところです。 ところで、この試験は過去に受験した Google Cloud 認定試験とは少し試験環境が異なっていました。今回の

こんにちは。日々何かに追われていて時間がないけど振り返ると何に追われていたのか分からなくなるクラウドエースの吉崎です。 2023 年 5 月 12 日のリリースにより Cloud Run のメモリ上限を設定できる「インメモリ ボリューム」という機能（プレビュー版）が利用できるようになりました。 本稿では従来の「インメモリ ファイルシステム」と今回リリースされた「インメモリ ボリューム」の違いに焦点を当て、その違いを説明します。 その他の Cloud Run のリリースが気になる方がいれば、下記の記事をご覧ください。 https://zenn.dev/cloud_ace/articles/

はじめに こんにちは、クラウドエース データML ディビジョン所属の寺内です。 データML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介するリリースでは、Storage Transfer Serviceにイベントドリブン転送という機能が追加されました。 本記事では、この機能の紹介と、実際にこの機能を使ってAWS S3 から Cloud Storage（以下、GC

はじめに こんにちは、クラウドエース データML ディビジョン所属の松山です。 データML ディビジョンでは、Google Cloudが提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 用語 本ページで頻出する用語について、下表にまとめておきます。 用語 説明 スロット BigQueryのクエリを実行するために使用する仮想CPUのこと。 予約 スロットを異なるワークロードまたは組織の異なる部分に割り

育休明けで Cloud Run のリリースに追いつけていなかった吉崎です。こんにちは。 本記事では 2023 年 4 月～ 2023 年 8 月の Cloud Run のリリースを総ざらいします。 なお、この期間のリリースの種類別数は下表の通りです。 FEATURE CHANGED ANNOUNCEMENT BREAKING 17 3 1 1 以下では、個人的に注目するリリースを紹介した後、月別リリースを紹介していきます。 注目のリリース サイドカーコンテナがデプロイ可能に(Preview) 最も注目を集めるリリースは、サイドカーコンテナがデプロイできるように

はじめに こんにちは、クラウドエース データML ディビジョン所属のZUMA SEAです。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。 その中でも重要と考えるリリースを本ページ含め記事として公開しています。 本記事では、皆様にPub/Sub の Cloud Storage サブスク

初めての方は、初めまして。そうでない方も、初めまして。クラウドエースのシステム開発部 SRE DivisionでProfessional Cooking Architectをしているzetaです。 INTRODUCTION 2021年の6月に取得したProfessional Cloud Architect(PCA)を更新してきたのですが、内容がかなり変わっていたのでそのレポートをする記事です。試験対策の参考にしてください。 WHAT IS Professional Cloud Architect ? PCAはGoogle Cloudの認定資格の一つです。公式の資格の建付けは以下の

はじめに ホテルから見たNEXT23の広告 こんにちは、SRE ディビジョンに所属している Shanks と申します。 Google Cloud のイベント「NEXT 23」が米国カリフォルニア州サンフランシスコにて開催されました。 弊社からは筆者含め30人ほどのメンバーで参加し、新プロダクトのキャッチアップや Google Cloud の動向を調査してまいりました。 その中でも注目トピックについては、弊社のコラム記事として掲載しておりますので、よろしければご覧ください。 （筆者も GKE Enterprise の記事を共同執筆しております。） 本記事では、NEXT 23 で発表さ

はじめに ホテルから見たNEXT23の広告 こんにちは、SRE ディビジョンに所属している Shanks と申します。 Google Cloud のイベント「NEXT 23」が米国カリフォルニア州サンフランシスコにて開催されました。 弊社からは筆者含め30人ほどのメンバーで参加し、新プロダクトのキャッチアップや Google Cloud の動向を調査してまいりました。 その中でも注目トピックについては、弊社のコラム記事として掲載しておりますので、よろしければご覧ください。 （筆者も GKE Enterprise の記事を共同執筆しております。） 本記事では、NEXT 23 で発表さ

はじめに ホテルから見たNEXT23の広告 こんにちは、SRE ディビジョンに所属している Shanks と申します。 Google Cloud のイベント「NEXT 23」が米国カリフォルニア州サンフランシスコにて開催されました。 弊社からは筆者含め30人ほどのメンバーで参加し、新プロダクトのキャッチアップや Google Cloud の動向を調査してまいりました。 その中でも注目トピックについては、弊社のコラム記事として掲載しておりますので、よろしければご覧ください。 （筆者も GKE Enterprise の記事を共同執筆しております。） 本記事では、NEXT 23 で発表さ

はじめに ホテルから見たNEXT23の広告 こんにちは、SRE ディビジョンに所属している Shanks と申します。 Google Cloud のイベント「NEXT 23」が米国カリフォルニア州サンフランシスコにて開催されました。 弊社からは筆者含め30人ほどのメンバーで参加し、新プロダクトのキャッチアップや Google Cloud の動向を調査してまいりました。 その中でも注目トピックについては、弊社のコラム記事として掲載しておりますので、よろしければご覧ください。 （筆者も GKE Enterprise の記事を共同執筆しております。） 本記事では、NEXT 23 で発表さ

はじめに ホテルから見たNEXT23の広告 こんにちは、SRE ディビジョンに所属している Shanks と申します。 Google Cloud のイベント「NEXT 23」が米国カリフォルニア州サンフランシスコにて開催されました。 弊社からは筆者含め30人ほどのメンバーで参加し、新プロダクトのキャッチアップや Google Cloud の動向を調査してまいりました。 その中でも注目トピックについては、弊社のコラム記事として掲載しておりますので、よろしければご覧ください。 （筆者も GKE Enterprise の記事を共同執筆しております。） 本記事では、NEXT 23 で日本リ

クラウドエースの北野です。 8月21-8月27日までのGoogle Cloudの主なリリースに関して紹介します。 ! 該当の日のすべての情報ではないので、すべてのリリースノートを確認されたい方は、当該ページからご確認ください。 BigQuery データのプロファイル作成とデータのクオリティ監視のテーブルスキャン機能の提供 (GA) Analytics Hub でのサブスクリプション管理機能の提供 (Preview) データへのカスタムマスキングルーティンの作成機能の提供 (Preview) テキスト埋め込み機能追加 (Preview) BigQuery ML 推論機能の追加 (