はじめに こんにちは、会員システムグループの上原です。 先日、社内ISUCONを開催し、参加者から好評の声をいただくことができました。 当日どんな感じだったのか気になる方は以下のブログ記事をご覧ください。 https://engineering.nifty.co.jp/blog/21057 本イベントでは参加者にハンズオンで使用するサーバーを配布しました。参加者の人数とクォータ制限の観点から、数百台のサーバーをマルチアカウント・マルチリージョンで展開する必要があったのですが、手動でやるのは面倒だったので、

はじめに こんにちは、エンジニアの田中です。 フォルシアでは SaaS のサービス"webコネクト"を旅行会社様向けに展開しており、 私はその中の"検索機能"の開発・運用に従事しています。 今回、webコネクト検索機能の開発において実践しているブランチ運用とそこから得られた知見について紹介します。 webコネクトについて webコネクト® は、旅行商品販売機能を SaaS 型サービスとして提供するプラットフォームです。 機能として、検索機能・予約機能・割引クーポンや素材登録機能などを備えています。 htt

みなさんこんにちは、ミイダステックオフィスの永留です。 2023年9月29日、ミイダスはSRE NEXT 2023にブロンズスポンサーとして参加しました。 ミイダスとしてはブースの出展やセッションへの参加はなかったのですが、その代わりにSRE NEXT2023のスポンサー企業様のブースを紹介します！ 朝イチで会場入りし、各ブースの企業様に色々お話を聞いてきました✨ （おそらく）SRE NEXT 2023の最速ブース紹介記事になるかと思いますのでぜひご覧ください！ ※最速レポート優先でご紹介が簡単になってし

こんにちは、クラウドエース Data/ML ディビジョン所属の田中です。 2023 年 7 月 17 日に、BigQuery の主キーと外部キーが Generally Available になりました。(リリースノート) しかし、BigQuery の主キーと外部キーの仕様についてはあまり詳しく記載されていなかったので、いくつか検証してみました。 各検証は別記事に記載し、本記事ではまとめのみ記載しています。 以降、主キーを PK (Primary key)、外部キーを FK (Foreign key) と略

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key に NULL が含まれているとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 normal1 normal2 pk1 fk1 normal1 と n

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key カラムを 16 列を超えて設定可能かどうかを確認します。 データセット・テーブルの準備 -- データセット作成 CREATE SCHEMA IF NOT EXISTS pk_fk_dataset; -- 通常テーブル作成 CREATE OR REPLACE TABLE pk_fk_dataset.normal1 ( title STRING NOT

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、テーブルを作成した後に Primary key と Foreign key を設定し、既存テーブルも PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 2 つのテーブルを用意します。 pk1 fk1 このとき、pk1 と fk1 に

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key で値が重複しているとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 normal1 normal2 pk1 fk1 normal1 と normal

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 公式ドキュメント TABLE_CONSTRAINTS ビューには、以下のような記載があります。 主キーと外部キーの値の制約は適用されません。ユーザーは、各制約に値が一致することを確認する必要があります。そうしないと、誤った結果が生じる可能性があります。具体的な内容は以下のとおりです。 (中略) 主キーと外部キーは、BIGNUMERIC、BOOLEAN、DATE、DATETIME、I

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 BigQuery テーブルに Primary key を設定する場合、 CREATE TABLE ステートメント、追加する場合は ALTER TABLE ADD PRIMARY KEY ステートメントを使用すれば良いことは、比較的容易にわかります。 ただ、削除と変更方法は少しづらかったので、実際に試して確認してみます。 1. データセット・テーブルの準備 pk_drop_test

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、1 つのカラムに複数の Foreign key を設定したとき、PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 6 つのテーブルを用意します。 normal1 normal2 normal3 pk1 pk2 fk1 normal1

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、結合方法・PK / FK テーブルの位置・PK / FK テーブルのカラムの取得が変化したとき、内部結合・左外部結合・右外部結合で結合解除されるかどうかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルの timestamp カラムから TIME 型の time カラムを作成し、Prima

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Foreign key で GROUP BY した後、この Foreign key と Primary key で結合したときでも、正しい結果になるのか・PK / FKの効果を受けることができるのか確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Foreign key が Primary key に無い値を含むとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 normal1 normal2 pk1 fk1 norm

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 BigQuery テーブルに Foreign key を設定する場合、 CREATE TABLE ステートメント、追加する場合は ALTER TABLE ADD FOREIGN KEY ステートメントを使用すれば良いことは、比較的容易にわかります。 ただ、削除と変更方法は少しづらかったので、実際に試して確認してみます。 1. データセット・テーブルの準備 以下 2 つのテーブルを作