「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 301 - 315件目
BigQuery のデータクリーンルームに入門しました
2023/10/18
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調
拒否ポリシーでBigQueryのテーブル削除を無効にする
2023/10/17
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の疋田（ひきた）です。 珍しい苗字でなかなか覚えづらいと思いますので、是非「ヒッキー」と呼んでいただければ嬉しいです。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とする
宣言的でメンテナンスしやすいGoogle Sheetsという考え方
2023/10/16
ブックマーク
はじめに こんにちは、生産プラットフォーム開発本部の stakme です。 本稿では、スプレッドシートの作業に「手続き的なアプローチ」と「宣言的なアプローチ」という観点を持ち込み、ふたつを対比しながら紹介します。Google Sheetsの多彩な関数を駆使して、日常的な問題に効率的に対応するための具体的なテクニックやヒントを提供します。また注意点やリスクを指摘し
【GCP】Duet AI in Google Cloud 触ってみた！！
2023/10/16
ブックマーク
こんにちは、SCSK 林です！ 今回は先日の Google Cloud Next ’23 にてプレビュー版の提供が発表された、Duet AI in Google Cloud を触ってみました。 Duet AI とは 2023年5月の Google I/O で発表された Duet AI は、Google の Generative AI 基盤モデルを搭載した、様々なユーザーに必要な支援を提供するAI コラボレーターです。 Duet AI は大きく2つにわけられ、今回の Google Cloud Next ’23 で以下
GoでSQLの複雑なクエリのテストを書いてみた
2023/10/10
ブックマーク
はじめに こんにちは。ブランドソリューション開発本部FAANSバックエンドブロックの佐野です。普段はサーバーサイドエンジニアとして、FAANSのバックエンドシステムを開発しています。 FAANSとは、弊社が2022年8月に正式ローンチした、アパレル店舗で働くショップスタッフの販売サポートツールです。例えば、コーディネート投稿機能や成果確認機能などを備えています
Looker StudioレポートごとのBigQueryクエリ課金額を調べる方法
2023/10/10
ブックマーク
G-gen の杉村です。Google Cloud (旧称 GCP) の BigQuery と BI ツールである Looker Studio のネイティブ統合機能である BigQuery native integration in Looker Studio が2023年10月2日に Private Preview (申込制) で公開されたため、その機能を活用して Looker Studio レポートごとの BigQuery 課金額を調査してみました。 はじめに やること 調査方法 留意事項 情報取得方法を理解する INFORMATION_SCHEMA.JOBS の構造
Dataflow のストリーミングジョブにおいてストラグラーを検知できるようになりました
2023/10/05
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の森です。 データML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、 新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介する
主要Google WorkspaceエディションでAppSheet Coreが使えるように！
2023/10/02
ブックマーク
G-gen ビジネス推進部の北田です。本記事では2023年7月のアップデートに伴い、従来有償ライセンスだった AppSheet Core が Google Workspace のほぼ全てのエディションで利用できるようになった ことについて紹介します。 AppSheet とは？ 従来まで AppSheet のエディション Google Workspace のエディションと AppSheet 今回のアップデートでの変更点 AppSheet のプランの違い 最後に AppSheet とは
BigQuery クエリ性能改善: BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみた
2023/09/29
ブックマーク
こんにちは、クラウドエース Data/ML ディビジョン所属の田中です。 2023 年 7 月 17 日に、BigQuery の主キーと外部キーが Generally Available になりました。(リリースノート) しかし、BigQuery の主キーと外部キーの仕様についてはあまり詳しく記載されていなかったので、いくつか検証してみました。 各検証は別記事に記載し、本記事ではまとめのみ記載しています。 以降、主キ
BigQuery クエリ性能改善: Primary key に NULL が含まれるときの確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key に NULL が含まれているとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 no
BigQuery クエリ性能改善: Primary key と Foreign key をテーブル作成後に設定したときの確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、テーブルを作成した後に Primary key と Foreign key を設定し、既存テーブルも PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 2 つのテーブルを用意
BigQuery クエリ性能改善: Primary key カラムを 16 列を超えて設定可能かどうか確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key カラムを 16 列を超えて設定可能かどうかを確認します。 データセット・テーブルの準備 -- データセット作成 CREATE SCHEMA IF NOT EXISTS pk_fk_dataset; -- 通常テーブル作成 CREATE OR REPLACE TABLE pk_fk_dataset.normal1 ( title STRING NOT NULL, id INTEGER, la
BigQuery クエリ性能改善: Primary key で値が重複しているときの確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key で値が重複しているとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 norma
BigQuery クエリ性能改善: Primary key の削除、変更方法
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 BigQuery テーブルに Primary key を設定する場合、 CREATE TABLE ステートメント、追加する場合は ALTER TABLE ADD PRIMARY KEY ステートメントを使用すれば良いことは、比較的容易にわかります。 ただ、削除と変更方法は少しづらかったので、実際に試して確認
BigQuery クエリ性能改善: Primary key をドキュメントに記載されている型以外の列に設定可能かどうか
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 公式ドキュメント TABLE_CONSTRAINTS ビューには、以下のような記載があります。 主キーと外部キーの値の制約は適用されません。ユーザーは、各制約に値が一致することを確認する必要があります。そうしないと、誤った結果が生じる可能性があり