「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 376 - 390件目
Vertex AIを活用したMLOps基盤の作成
2023/06/19
ブックマーク
みなさんどうもこんにちは、AI事業本部の「極予測TD」というプロダクトで2023年2月から2ヶ月間、 ...
【第2回】ビットコインの仕組み
2023/06/14
ブックマーク
本連載では、ブロックチェーンの基本的な仕組みを解説しながら、オンチェーンデータを分析するための基本的な手法について、全8回で紹介します。 第2回となる今回は、ブロックチェーン技術が最初に発明された暗号資産（仮想通貨）であるビットコインの仕組みについて、技術的な観点やその目的などを中心に解説します。 ビットコインのデータ構造 本連載の最終的
BigQuery の differential privacy がプレビューになりました
2023/06/13
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の松本です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・
GoによるSQLクエリテストの取り組み
2023/06/06
ブックマーク
この記事は、 Merpay Tech Openness Month 2023 の1日目の記事です。 背景 メルペイのバックエンドエンジニアのa-r-g-vとsminamotです。私達はメルペイ加盟店の管理システムを開発しているチームに所属しています。私達のチームには、複雑な条件を持つBigQueryのSQLクエリがいくつか存在しています。例えば、加盟店管理に関する費用計算などの計算クエリのように、外部環境の変化に
Connected SheetsとBigQueryで技術ブログのGA4アクセス解析をしている話
2023/06/05
ブックマーク
G-gen の杉村です。記事タイトル通り「Connected Sheets と BigQuery で技術ブログの GA4 アクセス解析をしている話」について、技術的な話題を中心にご紹介したいと思います。 はじめに 技術ブログと GA4 データ保持期間と BigQuery Connected Sheets の活用 エクスポートされた GA4 データの特徴 構成 構成図 ビューの活用 ネストを解き集計するためのビュー利用 マテリアライズド・ビュ
BigQueryを徹底解説！(応用編)
2023/06/02
ブックマーク
G-gen の杉村です。当記事は BigQuery について徹底的に解説する記事の 応用編 です。BigQuery に初めて触れる方はまずは 基本編 の記事を、ぜひご参照ください。 基本編の記事 外部データ連携の概要図 外部テーブル 外部テーブルとは 用途 Cloud Storage 外部テーブル Google ドライブ外部テーブル Bigtable 外部テーブル 連携クエリ (Federated query) BigQuery Omni BigQuery Omni とは 対応サービ
2023年5月22日週のGoogle Cloudの主なリリースに関するニュース
2023/05/31
ブックマーク
クラウドエース北野です。 今週で5月も終わりですね。先週から Google Cloud Day'23 Tour in TOKYO - Onlineが開催されました。アーカイブ動画で、登壇内容を確認できるので、見逃した方は、お時間のあるときにご覧ください。また、今週、6月2日 (金)は大阪で Google Cloud Day '23 Tour in OSAKA - Hybridが開催されますので、参加される方はお楽しみください。 Compute Engine C3のマシンシリーズ
Datadog CSPM 使ってみた
2023/05/30
ブックマーク
こんにちは、SREディビジョンの島田です。 Datadog のCSPM をGoogle Cloud で使ってみたので紹介したいと思います。 概要 Datadog CSPM はDatadog社の提供するCloud Security Posture Management（以下CSPM）サービスです。 CSPM とはCloud Security Posture Management の略で、クラウド サービスの脆弱な設定を検出するツールやサービスの総称です。 このDatadog CSPM はDatadog のオプショナル サービスという
tfsecの基本的な使い方を説明します
2023/05/26
ブックマーク
Terraform利用のお供にtfsecをおすすめしたい みなさん、こんにちは。 クラウドエースでいつだってごきげんをキャッチフレーズにSREをしている、長野と申します。 今回はtfsecを使ってみたので、その紹介をさせて頂きたいと思います。 ちなみにtfsecは、Terraformのコードをセキュリティ上の問題や一般的なベストプラクティスに基づいてスキャンする静的解析ツールです。 aqu
trocco®のワークフローでdbtジョブを動かしてみた
2023/05/25
ブックマーク
クラウドエースData/MLディビジョン所属のおでんです。 今回は、データ分析基盤構築・運用の支援 SaaS である trocco® のdbt連携機能を使用して、 trocco® のワークフローとdbtジョブを連携してみたので、手順と感想をまとめました。 trocco®とは trocco®は、ELT/データ転送・データマート生成・ジョブ管理・データガバナンスなどの データエンジニアリング領域をカバーした、
マーケティングオートメーションシステムを支えるリアルタイムデータ連携基盤をリプレイスした話
2023/05/23
ブックマーク
こんにちは、MA部の谷口（ case-k ）と @gachi-muchi-engineer です。 私達のチームではマーケティングオートメーションシステムの開発や運用をしています。ZOZOTOWNではマーケティングオートメーションによって、メールやPush、LINEなど各チャンネルに対して日々配信しています。配信方法は大きく2種類に分けられ、特定のユーザーセグメント向けの「マス配信」と、個別のユー
trocco®でお手軽ETLワークフロー管理
2023/05/22
ブックマーク
クラウドエースData/MLディビジョン所属のODRです。 今回は、データ分析基盤構築・運用の支援 SaaS である trocco® のワークフロー機能を使用して、GUIでワークフローを作成してみたので、手順と感想をまとめました。 最後に、Google Cloud のワークフロー管理ツールとの比較も行いました。 trocco とは trocco®は、ELT/データ転送・データマート生成・ジョブ管理・データガバナン
BigQueryの Non-incremental Materialized viewsがプレビューになりました
2023/05/22
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の中村です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・
Dataformで、BigQueryのデータのテストをする
2023/05/22
ブックマーク
初めまして、Data/ML ディビジョンのオーディンです。 本記事では、Dataformで、BigQueryのデータをテストする方法を紹介します。 はじめに データの品質を保証するために、BigQueryのデータが想定通りかテストしたい場面は多いですが、下記のような理由で、テストが導入しにくい状況でした。 テスト用のフレームワークがないため、assert句などを使い自分でテスト用のSQLを
BigQuery EditionsとAutoscalingについて
2023/05/18
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の穂戸田です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査