クラウドエース の技術ブログ
全414件
VPC ネットワークピアリングの概要
2023/10/06
ブックマーク
はじめに こんにちは。クラウドエースの木村です。 本記事にてご紹介する内容は、Google Cloud のサービスである VPC ネットワークピアリングについてです。 私自身今まで使ったことがなかったので、簡単にサービスの概要と、実際に使ってみた様子をまとめてみました。 VPC ネットワークピアリングに触れたことがない方、どのようなサービスなのかを簡潔に知りたい方に
Dataflow のストリーミングジョブにおいてストラグラーを検知できるようになりました
2023/10/05
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の森です。 データML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、 新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介する
Terraform Google Provider 5.0.0 の新機能と変更点について
2023/10/05
ブックマーク
こんにちは。クラウドエースの阿部です。 この記事ではメジャーアップデートした Terraform Google Provider 5.0.0 の新機能と変更点について説明しようと思います。 概要 2023年10月3日に、Terraform の Google Cloud 向けプラグイン(Provider)である Terraform Google Provider が 5.0.0 にバージョンアップしました。 v4.0.0 のリリースは 2021年11月3日だったため、Provider のメジャーアップグレードは
Imagen にてマルチモーダルな埋め込みモデルが一般提供になりました
2023/10/05
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の高橋です。 データ ML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介す
GKE Enterprise で追加された機能を紹介
2023/10/04
ブックマーク
はじめに こんにちは。クラウドエース株式会社で SRE をしている間瀬です。 今回は 2023 年 8 月末に Google Cloud Next'23 で発表された GKE Enterprise において追加された機能について紹介させていただきます。 記事執筆時点において GKE Enterprise は早期リリース状態であり利用するためには個別に Google Cloud のアカウントチームへ連絡して機能解放を依頼する必要がありますのでご
BigQuery クエリ性能改善: BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみた
2023/09/29
ブックマーク
こんにちは、クラウドエース Data/ML ディビジョン所属の田中です。 2023 年 7 月 17 日に、BigQuery の主キーと外部キーが Generally Available になりました。(リリースノート) しかし、BigQuery の主キーと外部キーの仕様についてはあまり詳しく記載されていなかったので、いくつか検証してみました。 各検証は別記事に記載し、本記事ではまとめのみ記載しています。 以降、主キ
BigQuery クエリ性能改善: Primary key に NULL が含まれるときの確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key に NULL が含まれているとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 no
BigQuery クエリ性能改善: Primary key カラムを 16 列を超えて設定可能かどうか確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key カラムを 16 列を超えて設定可能かどうかを確認します。 データセット・テーブルの準備 -- データセット作成 CREATE SCHEMA IF NOT EXISTS pk_fk_dataset; -- 通常テーブル作成 CREATE OR REPLACE TABLE pk_fk_dataset.normal1 ( title STRING NOT NULL, id INTEGER, la
BigQuery クエリ性能改善: Primary key と Foreign key をテーブル作成後に設定したときの確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、テーブルを作成した後に Primary key と Foreign key を設定し、既存テーブルも PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 2 つのテーブルを用意
BigQuery クエリ性能改善: Primary key で値が重複しているときの確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key で値が重複しているとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 norma
BigQuery クエリ性能改善: Primary key をドキュメントに記載されている型以外の列に設定可能かどうか
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 公式ドキュメント TABLE_CONSTRAINTS ビューには、以下のような記載があります。 主キーと外部キーの値の制約は適用されません。ユーザーは、各制約に値が一致することを確認する必要があります。そうしないと、誤った結果が生じる可能性があり
BigQuery クエリ性能改善: Primary key の削除、変更方法
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 BigQuery テーブルに Primary key を設定する場合、 CREATE TABLE ステートメント、追加する場合は ALTER TABLE ADD PRIMARY KEY ステートメントを使用すれば良いことは、比較的容易にわかります。 ただ、削除と変更方法は少しづらかったので、実際に試して確認
BigQuery クエリ性能改善: 1 つのカラムに複数の Foreign key を設定したときの確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、1 つのカラムに複数の Foreign key を設定したとき、PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 6 つのテーブルを用意します。 normal1 normal2 norm
BigQuery クエリ性能改善: 内部結合・左外部結合・右外部結合で結合解除される条件の確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、結合方法・PK / FK テーブルの位置・PK / FK テーブルのカラムの取得が変化したとき、内部結合・左外部結合・右外部結合で結合解除されるかどうかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブル
BigQuery クエリ性能改善: グループ化した Foreign key と Primary key の結合結果確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Foreign key で GROUP BY した後、この Foreign key と Primary key で結合したときでも、正しい結果になるのか・PK / FKの効果を受けることができるのか確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以