こんにちは。クラウドエースの阿部です。 2023年9月29日に、 Jagu'e'r Tech Writers の初回 Meetup に参加し、クラウドエースにおける技術ブログの取り組みについて発表しましたので、そのときの様子を紹介したいと思います。 イベントの概要 Jagu'e'r というコミュニティについて、耳慣れない方も少なくないと思います。 Jagu'e'r (ジャガー)は Japan Google Cloud Usergroup for Enterprise の略称であり、日本で Google Cloud を利用している企業に所属されている方を中心として、企業の垣根を越えて経

はじめに こんにちは。クラウドエースの木村です。 本記事にてご紹介する内容は、Google Cloud のサービスである VPC ネットワークピアリングについてです。 私自身今まで使ったことがなかったので、簡単にサービスの概要と、実際に使ってみた様子をまとめてみました。 VPC ネットワークピアリングに触れたことがない方、どのようなサービスなのかを簡潔に知りたい方に向けた記事になっています。 VPC ネットワークピアリングとは Google Cloud VPC ネットワークピアリングは、2 つの Virtual Private Cloud(以下、VPC)を接続することで、各ネット

はじめに こんにちは、クラウドエース データML ディビジョン所属の森です。 データML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、 新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介するリリースは、「Dataflow ストリーミングジョブでのストラグラー検知」についてです。 このリリースによって、今まで Dataflow バッチジョブでのみ提供されていたストラグラー検知機能が、Dataflow ストリーミン

こんにちは。クラウドエースの阿部です。 この記事ではメジャーアップデートした Terraform Google Provider 5.0.0 の新機能と変更点について説明しようと思います。 概要 2023年10月3日に、Terraform の Google Cloud 向けプラグイン(Provider)である Terraform Google Provider が 5.0.0 にバージョンアップしました。 v4.0.0 のリリースは 2021年11月3日だったため、Provider のメジャーアップグレードは約2年ぶりということになります。 ざっとリリース情報やアップグレードガイドを

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の高橋です。 データ ML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介するリリースは、2023 年 8 月 9 日付で発表された Imagen にてマルチモーダルな埋め込みモデルが一般提供になったことについてです。当該リリースノートのリンクはこちらです。 Imagen とは Google が開

はじめに こんにちは。クラウドエース株式会社で SRE をしている間瀬です。 今回は 2023 年 8 月末に Google Cloud Next'23 で発表された GKE Enterprise において追加された機能について紹介させていただきます。 記事執筆時点において GKE Enterprise は早期リリース状態であり利用するためには個別に Google Cloud のアカウントチームへ連絡して機能解放を依頼する必要がありますのでご注意ください。 連絡方法などの詳細については公式docを参照してください。 尚、既に Anthos を利用されている方は上記の手続きなしで利用す

こんにちは、クラウドエース Data/ML ディビジョン所属の田中です。 2023 年 7 月 17 日に、BigQuery の主キーと外部キーが Generally Available になりました。(リリースノート) しかし、BigQuery の主キーと外部キーの仕様についてはあまり詳しく記載されていなかったので、いくつか検証してみました。 各検証は別記事に記載し、本記事ではまとめのみ記載しています。 以降、主キーを PK (Primary key)、外部キーを FK (Foreign key) と略すことがあります。 1. BigQuery の主キーと外部キーとは 主キーと外

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key に NULL が含まれているとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 normal1 normal2 pk1 fk1 normal1 と normal2 は通常テーブルです。 pk1 と fk1 は、それぞれ rev

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key カラムを 16 列を超えて設定可能かどうかを確認します。 データセット・テーブルの準備 -- データセット作成 CREATE SCHEMA IF NOT EXISTS pk_fk_dataset; -- 通常テーブル作成 CREATE OR REPLACE TABLE pk_fk_dataset.normal1 ( title STRING NOT NULL, id INTEGER, language

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、テーブルを作成した後に Primary key と Foreign key を設定し、既存テーブルも PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 2 つのテーブルを用意します。 pk1 fk1 このとき、pk1 と fk1 には Primary key / Foreign key をまだ設定しません。

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key で値が重複しているとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 normal1 normal2 pk1 fk1 normal1 と normal2 は通常テーブルです。 pk1 では、値が重複している id カラムを P

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 公式ドキュメント TABLE_CONSTRAINTS ビューには、以下のような記載があります。 主キーと外部キーの値の制約は適用されません。ユーザーは、各制約に値が一致することを確認する必要があります。そうしないと、誤った結果が生じる可能性があります。具体的な内容は以下のとおりです。 (中略) 主キーと外部キーは、BIGNUMERIC、BOOLEAN、DATE、DATETIME、INT64、NUMERIC、STRING、TIMESTAMP のいずれかのタイプに

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 BigQuery テーブルに Primary key を設定する場合、 CREATE TABLE ステートメント、追加する場合は ALTER TABLE ADD PRIMARY KEY ステートメントを使用すれば良いことは、比較的容易にわかります。 ただ、削除と変更方法は少しづらかったので、実際に試して確認してみます。 1. データセット・テーブルの準備 pk_drop_test テーブルを作成します。それぞれ id カラムを PK に設定します。 -- デー

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、1 つのカラムに複数の Foreign key を設定したとき、PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 6 つのテーブルを用意します。 normal1 normal2 normal3 pk1 pk2 fk1 normal1 と normal2、normal3 は通常テーブルです。 pk1 と pk

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、結合方法・PK / FK テーブルの位置・PK / FK テーブルのカラムの取得が変化したとき、内部結合・左外部結合・右外部結合で結合解除されるかどうかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルの timestamp カラムから TIME 型の time カラムを作成し、Primary key / Foreign key として利用します。 以下 4 つのテー

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Foreign key で GROUP BY した後、この Foreign key と Primary key で結合したときでも、正しい結果になるのか・PK / FKの効果を受けることができるのか確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 normal1 normal2 pk1 fk1 normal1 と norm

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Foreign key が Primary key に無い値を含むとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 normal1 normal2 pk1 fk1 normal1 と normal2 は通常テーブルです。 pk1 と fk1 は、そ

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 BigQuery テーブルに Foreign key を設定する場合、 CREATE TABLE ステートメント、追加する場合は ALTER TABLE ADD FOREIGN KEY ステートメントを使用すれば良いことは、比較的容易にわかります。 ただ、削除と変更方法は少しづらかったので、実際に試して確認してみます。 1. データセット・テーブルの準備 以下 2 つのテーブルを作成します。それぞれ id カラムを PK / FK に設定します。 pk_dr

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、Duet AI in BigQuery についてです

要約 Analytics Hub でリンクされたデータセットでルーティンの使用がサポートになった。 実際に使ってみた。 考えられるユースケース 1. はじめに こんにちは、クラウドエース データML ディビジョン所属の泉澤です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。