「SQL」に関連する技術ブログ
企業やコミュニティが発信する「SQL」に関連する技術ブログの一覧です。
全823件中 346 - 360件目
BigQuery クエリ性能改善: Primary key と Foreign key をテーブル作成後に設定したときの確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、テーブルを作成した後に Primary key と Foreign key を設定し、既存テーブルも PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 2 つのテーブルを用意
BigQuery クエリ性能改善: Primary key カラムを 16 列を超えて設定可能かどうか確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key カラムを 16 列を超えて設定可能かどうかを確認します。 データセット・テーブルの準備 -- データセット作成 CREATE SCHEMA IF NOT EXISTS pk_fk_dataset; -- 通常テーブル作成 CREATE OR REPLACE TABLE pk_fk_dataset.normal1 ( title STRING NOT NULL, id INTEGER, la
BigQuery クエリ性能改善: Primary key で値が重複しているときの確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key で値が重複しているとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 norma
BigQuery クエリ性能改善: Primary key の削除、変更方法
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 BigQuery テーブルに Primary key を設定する場合、 CREATE TABLE ステートメント、追加する場合は ALTER TABLE ADD PRIMARY KEY ステートメントを使用すれば良いことは、比較的容易にわかります。 ただ、削除と変更方法は少しづらかったので、実際に試して確認
BigQuery クエリ性能改善: Primary key をドキュメントに記載されている型以外の列に設定可能かどうか
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 公式ドキュメント TABLE_CONSTRAINTS ビューには、以下のような記載があります。 主キーと外部キーの値の制約は適用されません。ユーザーは、各制約に値が一致することを確認する必要があります。そうしないと、誤った結果が生じる可能性があり
BigQuery クエリ性能改善: 1 つのカラムに複数の Foreign key を設定したときの確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、1 つのカラムに複数の Foreign key を設定したとき、PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 6 つのテーブルを用意します。 normal1 normal2 norm
BigQuery クエリ性能改善: グループ化した Foreign key と Primary key の結合結果確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Foreign key で GROUP BY した後、この Foreign key と Primary key で結合したときでも、正しい結果になるのか・PK / FKの効果を受けることができるのか確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以
BigQuery クエリ性能改善: 内部結合・左外部結合・右外部結合で結合解除される条件の確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、結合方法・PK / FK テーブルの位置・PK / FK テーブルのカラムの取得が変化したとき、内部結合・左外部結合・右外部結合で結合解除されるかどうかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブル
BigQuery クエリ性能改善: Foreign key の削除、変更方法
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 BigQuery テーブルに Foreign key を設定する場合、 CREATE TABLE ステートメント、追加する場合は ALTER TABLE ADD FOREIGN KEY ステートメントを使用すれば良いことは、比較的容易にわかります。 ただ、削除と変更方法は少しづらかったので、実際に試して確認
BigQuery クエリ性能改善: Foreign key が Primary key に無い値を含むときの確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Foreign key が Primary key に無い値を含むとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意しま
Duet AI in BigQuery と生きる
2023/09/28
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調
Analytics Hub でリンクされたデータセットでルーティンの使用がサポートになりました
2023/09/28
ブックマーク
要約 Analytics Hub でリンクされたデータセットでルーティンの使用がサポートになった。 実際に使ってみた。 考えられるユースケース 1. はじめに こんにちは、クラウドエース データML ディビジョン所属の泉澤です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解
プロダクトチームの管理をやることになったので情報をドシドシBIツールに載せてみた
2023/09/25
ブックマーク
はじめに
マルチクラウド戦略を策定するための実証済みのプラクティス
2023/09/20
ブックマーク
エンタープライズストラテジストである私は、マルチクラウドのトピックが、混乱、誤った確信、暫定性をはらんだ多くの議論の中で取り上げられていることに気づいています。企業は、マルチクラウドアプローチを決して採用しないようにというメッセージや、「どの企業もマルチクラウドに切り替えている」のだからマルチクラウドアプローチが必要だ、という相反
Laravelで一万行あるCSVデータのインポートを行う方法。
2023/09/15
ブックマーク
始めに 今回業務でlaravelでフォームからのCSVインポート作業の実装を行いました。 そこまで容量がないCSVなら、時間がかからず実装できると思うのですが、 今回は最大で一万行あるCSVのデータをタイムアウトしないでインポートする必要があった為、 実装に一ヶ月程かかってしまいました。。 今後も同じような実装をするかもしれない為、記事にまとめてみました。 誰