こんにちは。クラウドエースの阿部です。 この記事ではメジャーアップデートした Terraform Google Provider 5.0.0 の新機能と変更点について説明しようと思います。 概要 2023年10月3日に、Terraform の Google Cloud 向けプラグイン(Provider)である Terraform Google Provider が 5.0.0 にバージョンアップしました。 v4.0.0 のリリースは 2021年11月3日だったため、Provider のメジャーアップグレードは約2年ぶりということになります。 ざっとリリース情報やアップグレードガイドを

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の高橋です。 データ ML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介するリリースは、2023 年 8 月 9 日付で発表された Imagen にてマルチモーダルな埋め込みモデルが一般提供になったことについてです。当該リリースノートのリンクはこちらです。 Imagen とは Google が開

はじめに こんにちは。クラウドエース株式会社で SRE をしている間瀬です。 今回は 2023 年 8 月末に Google Cloud Next'23 で発表された GKE Enterprise において追加された機能について紹介させていただきます。 記事執筆時点において GKE Enterprise は早期リリース状態であり利用するためには個別に Google Cloud のアカウントチームへ連絡して機能解放を依頼する必要がありますのでご注意ください。 連絡方法などの詳細については公式docを参照してください。 尚、既に Anthos を利用されている方は上記の手続きなしで利用す

こんにちは、クラウドエース Data/ML ディビジョン所属の田中です。 2023 年 7 月 17 日に、BigQuery の主キーと外部キーが Generally Available になりました。(リリースノート) しかし、BigQuery の主キーと外部キーの仕様についてはあまり詳しく記載されていなかったので、いくつか検証してみました。 各検証は別記事に記載し、本記事ではまとめのみ記載しています。 以降、主キーを PK (Primary key)、外部キーを FK (Foreign key) と略すことがあります。 1. BigQuery の主キーと外部キーとは 主キーと外

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key に NULL が含まれているとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 normal1 normal2 pk1 fk1 normal1 と normal2 は通常テーブルです。 pk1 と fk1 は、それぞれ rev

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key カラムを 16 列を超えて設定可能かどうかを確認します。 データセット・テーブルの準備 -- データセット作成 CREATE SCHEMA IF NOT EXISTS pk_fk_dataset; -- 通常テーブル作成 CREATE OR REPLACE TABLE pk_fk_dataset.normal1 ( title STRING NOT NULL, id INTEGER, language

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、テーブルを作成した後に Primary key と Foreign key を設定し、既存テーブルも PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 2 つのテーブルを用意します。 pk1 fk1 このとき、pk1 と fk1 には Primary key / Foreign key をまだ設定しません。

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key で値が重複しているとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 normal1 normal2 pk1 fk1 normal1 と normal2 は通常テーブルです。 pk1 では、値が重複している id カラムを P

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 公式ドキュメント TABLE_CONSTRAINTS ビューには、以下のような記載があります。 主キーと外部キーの値の制約は適用されません。ユーザーは、各制約に値が一致することを確認する必要があります。そうしないと、誤った結果が生じる可能性があります。具体的な内容は以下のとおりです。 (中略) 主キーと外部キーは、BIGNUMERIC、BOOLEAN、DATE、DATETIME、INT64、NUMERIC、STRING、TIMESTAMP のいずれかのタイプに

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 BigQuery テーブルに Primary key を設定する場合、 CREATE TABLE ステートメント、追加する場合は ALTER TABLE ADD PRIMARY KEY ステートメントを使用すれば良いことは、比較的容易にわかります。 ただ、削除と変更方法は少しづらかったので、実際に試して確認してみます。 1. データセット・テーブルの準備 pk_drop_test テーブルを作成します。それぞれ id カラムを PK に設定します。 -- デー

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、1 つのカラムに複数の Foreign key を設定したとき、PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 6 つのテーブルを用意します。 normal1 normal2 normal3 pk1 pk2 fk1 normal1 と normal2、normal3 は通常テーブルです。 pk1 と pk

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、結合方法・PK / FK テーブルの位置・PK / FK テーブルのカラムの取得が変化したとき、内部結合・左外部結合・右外部結合で結合解除されるかどうかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルの timestamp カラムから TIME 型の time カラムを作成し、Primary key / Foreign key として利用します。 以下 4 つのテー

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Foreign key で GROUP BY した後、この Foreign key と Primary key で結合したときでも、正しい結果になるのか・PK / FKの効果を受けることができるのか確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 normal1 normal2 pk1 fk1 normal1 と norm

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Foreign key が Primary key に無い値を含むとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 normal1 normal2 pk1 fk1 normal1 と normal2 は通常テーブルです。 pk1 と fk1 は、そ

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 BigQuery テーブルに Foreign key を設定する場合、 CREATE TABLE ステートメント、追加する場合は ALTER TABLE ADD FOREIGN KEY ステートメントを使用すれば良いことは、比較的容易にわかります。 ただ、削除と変更方法は少しづらかったので、実際に試して確認してみます。 1. データセット・テーブルの準備 以下 2 つのテーブルを作成します。それぞれ id カラムを PK / FK に設定します。 pk_dr

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、Duet AI in BigQuery についてです

要約 Analytics Hub でリンクされたデータセットでルーティンの使用がサポートになった。 実際に使ってみた。 考えられるユースケース 1. はじめに こんにちは、クラウドエース データML ディビジョン所属の泉澤です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。

はじめに こんにちは、クラウドエース データML ディビジョン所属の篠田です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 1.概要 今回紹介するリリースは、Dataflow ジョブの推定費用が、Google

こんにちは。フルマラソンは 2 ヶ月前から準備する吉崎です。 マイナーな変更かもしれませんが、Cloud Run の新しいリビジョンをデプロイした際、十分なインスタンスが起動するようになったのをご存知でしょうか。 以下、短文ですのでリリースノートを転記します。 When deploying a new revision, Cloud Run now starts enough instances of the new revision before directing traffic to it. This reduces the impact of new revision depl

こんにちは。クラウドエース株式会社で Google Cloud 認定トレーナーをしている廣瀬 隆博です。近日中にカボチャなメタルバンドの講演を観に行く予定があり、最近は上機嫌に過ごしております。数年ぶりの来日なので楽しみ🤘 さて、実は上機嫌な理由がもう一つあります。いつの間にか提供されていた Professional ChromeOS Administrator を試しに受けてみたところ、見事に合格したんですね。何も準備していなかったのに取得できたのは素直に嬉しいところです。 ところで、この試験は過去に受験した Google Cloud 認定試験とは少し試験環境が異なっていました。今回の