クラウドエース の技術ブログ
全415件
BigQuery クエリ性能改善: グループ化した Foreign key と Primary key の結合結果確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Foreign key で GROUP BY した後、この Foreign key と Primary key で結合したときでも、正しい結果になるのか・PK / FKの効果を受けることができるのか確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以
BigQuery クエリ性能改善: Foreign key が Primary key に無い値を含むときの確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Foreign key が Primary key に無い値を含むとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意しま
BigQuery クエリ性能改善: Foreign key の削除、変更方法
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 BigQuery テーブルに Foreign key を設定する場合、 CREATE TABLE ステートメント、追加する場合は ALTER TABLE ADD FOREIGN KEY ステートメントを使用すれば良いことは、比較的容易にわかります。 ただ、削除と変更方法は少しづらかったので、実際に試して確認
Duet AI in BigQuery と生きる
2023/09/28
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調
Analytics Hub でリンクされたデータセットでルーティンの使用がサポートになりました
2023/09/28
ブックマーク
要約 Analytics Hub でリンクされたデータセットでルーティンの使用がサポートになった。 実際に使ってみた。 考えられるユースケース 1. はじめに こんにちは、クラウドエース データML ディビジョン所属の泉澤です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解
Dataflow の費用モニタリングが一般提供(GA)になりました
2023/09/25
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の篠田です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・
Cloud Run は本当に十分なインスタンス数を用意してくれるようになったのか
2023/09/22
ブックマーク
こんにちは。フルマラソンは 2 ヶ月前から準備する吉崎です。 マイナーな変更かもしれませんが、Cloud Run の新しいリビジョンをデプロイした際、十分なインスタンスが起動するようになったのをご存知でしょうか。 以下、短文ですのでリリースノートを転記します。 When deploying a new revision, Cloud Run now starts enough instances of the new revision before directing traffic to it. This reduces the i
Professional ChromeOS Administrator を受験してみた
2023/09/15
ブックマーク
こんにちは。クラウドエース株式会社で Google Cloud 認定トレーナーをしている廣瀬 隆博です。近日中にカボチャなメタルバンドの講演を観に行く予定があり、最近は上機嫌に過ごしております。数年ぶりの来日なので楽しみ🤘 さて、実は上機嫌な理由がもう一つあります。いつの間にか提供されていた Professional ChromeOS Administrator を試しに受けてみたところ、見事に合格
インボリュームメモリによってメモリの上限が設定できるようになりました
2023/09/12
ブックマーク
こんにちは。日々何かに追われていて時間がないけど振り返ると何に追われていたのか分からなくなるクラウドエースの吉崎です。 2023 年 5 月 12 日のリリースにより Cloud Run のメモリ上限を設定できる「インメモリ ボリューム」という機能（プレビュー版）が利用できるようになりました。 本稿では従来の「インメモリ ファイルシステム」と今回リリースされた「イン
Storage Transfer Service のイベントドリブン転送を試してみた
2023/09/08
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の寺内です。 データML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介す
BigQueryクエリキューの概要まとめ
2023/09/08
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の松山です。 データML ディビジョンでは、Google Cloudが提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 用語 本ペー
Cloud Runのリリースノート総ざらい（2023/4～2023/8）
2023/09/07
ブックマーク
育休明けで Cloud Run のリリースに追いつけていなかった吉崎です。こんにちは。 本記事では 2023 年 4 月～ 2023 年 8 月の Cloud Run のリリースを総ざらいします。 なお、この期間のリリースの種類別数は下表の通りです。 FEATURE CHANGED ANNOUNCEMENT BREAKING 17 3 1 1 以下では、個人的に注目するリリースを紹介した後、月別リリースを紹介していきます。 注目のリリース サイドカーコ
GAになった Pub/Sub の Cloud Storage サブスクリプションを試してみた
2023/09/06
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属のZUMA SEAです。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査
Professional Cloud Architect2023
2023/09/05
ブックマーク
初めての方は、初めまして。そうでない方も、初めまして。クラウドエースのシステム開発部 SRE DivisionでProfessional Cooking Architectをしているzetaです。 INTRODUCTION 2021年の6月に取得したProfessional Cloud Architect(PCA)を更新してきたのですが、内容がかなり変わっていたのでそのレポートをする記事です。試験対策の参考にしてください。 WHAT IS Professional Cloud Architect ? PCAはGoogle Cloud
NEXT23で発表された Google Distributed Cloud について解説してみた
2023/09/05
ブックマーク
はじめに ホテルから見たNEXT23の広告 こんにちは、SRE ディビジョンに所属している Shanks と申します。 Google Cloud のイベント「NEXT 23」が米国カリフォルニア州サンフランシスコにて開催されました。 弊社からは筆者含め30人ほどのメンバーで参加し、新プロダクトのキャッチアップや Google Cloud の動向を調査してまいりました。 その中でも注目トピックについては、弊社の