「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全673件中 1 - 15件目
インベントリレポートを使ったGoogle ドライブのセキュリティリスク管理
2024/12/20
ブックマーク
G-gen の三浦です。当記事では、Google ドライブのインベントリレポート機能を使ったセキュリティリスクの管理方法を紹介します。 概要 ドライブインベントリとは 前提条件 設定の概要 設定手順 [Google Cloud] BigQuery データセットの作成 [Google Workspace] インベントリレポートの有効化 [Google Cloud] レポートデータの確認 データ抽出例 サンプルクエリ①：アクセス権が「リンク
BigQuery上のデータへのアクセス制御
2024/12/20
ブックマーク
こんにちは、データエンジニアの中村です。 新卒で入社してから、気づけば2年が経とうとしています。時間の流れは本当に早いものですね。 今回は、私がこれまで取り組んできたデータ基盤におけるアクセス制御に関する技術と取り組みについてお話ししようと思います。 昨日に引き続きデータ基盤関連の記事になりますが、ぜひ最後までご覧ください！ この記事は En
Cloud Build の結果を Slack に通知する方法
2024/12/19
ブックマーク
クラウドエースの北野です。 Cloud Build の結果を Slack に通知する方法を紹介します。 概要 Cloud Build を以下のシステム構成で Slack に通知させます。 Pub/Sub に Cloud Build の結果の通知 Secret Manager、Cloud Storage に Slack の通知先情報と、通知するメッセージの内容の保存 Cloud Build Notifier を使い Slack に通知 はじめに Cloud Build の承認機能の利便性や、Google Cloud に閉じたシステムで CI
Lookerで大幅にコスト削減できた話
2024/12/19
ブックマーク
こんにちは、データエンジニアの中村です。 弊社ではBIツールとして Google Cloudから提供されている Looker を利用しています。 Lookerの利用者も徐々に増えており、日々データ活用が進んでいることは嬉しいですが、それと比例して気になるのは ダッシュ ボードの表示速度やクエリコスト等のパフォーマンスです。 最近 AggregateAwareness という機能を利用してパフォーマンス
INFORMATION_SCHEMAを用いたBigQueryデータ監視
2024/12/18
ブックマーク
はじめに こんにちは！Data Strategy teamでデータエンジニアをしているshota.imazekiです。 今回はBigQueryでのINFORMATION_SCHEMAを用いたBigQueryデータ監視というテーマでブログを書いていこうと思います。 BigQueryを利用していく上で「クエリが実行できなくなった」「データが古いまま更新されていない」「使われていないデータがある」などの様々な運用上の課題があるかと思いま
住まいマート開発チームにおける新規メンバー向けオンボーディングの取り組み
2024/12/18
ブックマーク
はじめに こんにちは！住まい領域アナリティクスエンジニアの半谷です。 住まい領域では、dbtを使ったデータマート開発をチーム
Ameba広告、効果的な施策を進めるために
2024/12/17
ブックマーク
はじめに この記事は CyberAgent Developers Advent Calendar 2 ...
データテストフェーズ論
2024/12/16
ブックマーク
はじめに 株式会社リクルートでアナリティクスエンジニアをしている岩井と申します。 主に次の2つの業務をメインに行なっています
Tableau Server から Tableau Cloud への大規模お引越しプロジェクト
2024/12/16
ブックマーク
はじめに こんにちは、データ推進室マリッジ＆ファミリー・自動車・旅行データソリューション部自動車データソリューショングルー
Dataform と BigQuery ML で実現するテキスト分析パイプラインの構築
2024/12/13
ブックマーク
はじめに こんにちは。クラウドエース第三開発部の泉澤です。 本記事では、Google Cloud のサービスである Dataform と BigQuery ML を使って、LLM による「テキスト分析パイプライン」を構築する方法をシェアします。 業務で BigQuery ML を使ってテキスト分析を実施した経験があるのですが、プロンプトや LLM のパラメータを設定する必要があるため、他の処理も同じクエリで行お
BigQueryとDatadogを活用したマーケティングオートメーションの監視
2024/12/13
ブックマーク
はじめに こんにちは、MA部MA基盤ブロックでマーケティングオートメーションのシステムを開発している長澤です。この記事ではBigQueryとDatadogを活用した監視を導入した話を紹介します。 はじめに、日々のマーケティングオートメーション（以下、MA）の開発・運用における課題としてシステム信頼性の向上がありました。ZOZOTOWNは年間の購入者数が1,100万人を超えており
【Amazon Athena】Athena初心者のための基礎知識と基本操作
2024/12/13
ブックマーク
こんにちは。SCSK池宮です。 今さらながら、先日Athenaデビューしました。 初心者にも非常に扱いやすいサービスですが、私と同じように「いざコンソールに入るとどこから始めていいか…」と悩んでしまう方向けに基本操作をまとめてみました。 お役に立ちましたら幸いです。 Amazon Athenaとは Amazon Athenaとは、S3上のデータに対し、サーバレスでクエリを行うことができる
Amazon SageMaker Lakehouse の統合アクセスコントロールが Amazon Athena フェデレーションクエリで利用可能に
2024/12/13
ブックマーク
12 月 3 日、データ、分析、AI の統合プラットフォームである次世代の Amazon SageMaker を発表しました。Amazon SageMaker には、広く採用されている AWS の機械学習と分析機能が統合されています。中核となるのは SageMaker Unified Studio (プレビュー) です。これは、データ探索、準備と統合、ビッグデータ処理、高速 SQL 分析、モデル開発とトレーニング、生成 AI アプリケーション開
Google Ads APIを用いた拡張コンバージョン機能を外部SaaSから移行・内製化した話
2024/12/11
ブックマーク
はじめに こんにちは、MA部の中原です。 MA部ではZOZOTOWNにおけるメルマガやLINE通知、アプリプッシュ通知、Web広告を配信するためのマーケティングオートメーションシステムを開発・運用しています。本記事では、Web広告について外部SaaSで利用していた機能の内製化と移行についてご紹介します。 目次 はじめに 目次 背景・課題 拡張コンバージョンとは？ 拡張コンバー
HPAとVPAによるストリーミング処理のリソース最適化
2024/12/10
ブックマーク
こんにちは。メルペイData Platformチームの@siyuan.liuです。 この記事は、 Merpay & Mercoin Advent Calendar 2024 の記事です。 Merpay Data Platformチームは、社内共通のデータ処理基盤の開発と運用を担当しており、バッチ処理やリアルタイム処理など、さまざまなPipelineを提供しています。その中でも、リアルタイムで大量のログを収集するStream Pipelineがあります。このStream処理は、Kube