「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 1 - 15件目
Findy Toolsのデータ基盤を1ヶ月前倒しで新規構築した話
2024/12/21
ブックマーク
はじめに この記事は Findy Advent Calendar 2024 21日目の記事です。 adventar.org データソリューションチーム、エンジニアの土屋(@shunsock)です。本日は、Findy Toolsのデータ基盤を構築したので、その内容を共有します。 Findy Tools は、2024年1月23日にリリースされた開発ツールのレビューサイトです。利用者は開発者向けツールのレビューやアーキテクチャの記事を閲覧、投稿できま
ノーコード・ローコード：AppSheetがもたらす開発手法と業務スタイルの変化
2024/12/21
ブックマーク
こんにちは、GASエンジニア の 佐伯 です。 この記事は Enigmo Advent Calendar 2024 の 21 日目の記事です。 この記事では Google 製の アプリ開発 ツールである、AppSheet について紹介します。 軽く自己紹介になりますが、普段はGAS（ Google Apps Script）やBigQueryなどを用いて業務用ツールの開発を行っています。最近はGASとの親和性も高いAppSheetに挑戦しているので、その中で気づいた
インベントリレポートを使ったGoogle ドライブのセキュリティリスク管理
2024/12/20
ブックマーク
G-gen の三浦です。当記事では、Google ドライブのインベントリレポート機能を使ったセキュリティリスクの管理方法を紹介します。 概要 ドライブインベントリとは 前提条件 設定の概要 設定手順 [Google Cloud] BigQuery データセットの作成 [Google Workspace] インベントリレポートの有効化 [Google Cloud] レポートデータの確認 データ抽出例 サンプルクエリ①：アクセス権が「リンク
BigQuery上のデータへのアクセス制御
2024/12/20
ブックマーク
こんにちは、データエンジニアの中村です。 新卒で入社してから、気づけば2年が経とうとしています。時間の流れは本当に早いものですね。 今回は、私がこれまで取り組んできたデータ基盤におけるアクセス制御に関する技術と取り組みについてお話ししようと思います。 昨日に引き続きデータ基盤関連の記事になりますが、ぜひ最後までご覧ください！ この記事は En
Cloud Build の結果を Slack に通知する方法
2024/12/19
ブックマーク
クラウドエースの北野です。 Cloud Build の結果を Slack に通知する方法を紹介します。 概要 Cloud Build を以下のシステム構成で Slack に通知させます。 Pub/Sub に Cloud Build の結果の通知 Secret Manager、Cloud Storage に Slack の通知先情報と、通知するメッセージの内容の保存 Cloud Build Notifier を使い Slack に通知 はじめに Cloud Build の承認機能の利便性や、Google Cloud に閉じたシステムで CI
Lookerで大幅にコスト削減できた話
2024/12/19
ブックマーク
こんにちは、データエンジニアの中村です。 弊社ではBIツールとして Google Cloudから提供されている Looker を利用しています。 Lookerの利用者も徐々に増えており、日々データ活用が進んでいることは嬉しいですが、それと比例して気になるのは ダッシュ ボードの表示速度やクエリコスト等のパフォーマンスです。 最近 AggregateAwareness という機能を利用してパフォーマンス
INFORMATION_SCHEMAを用いたBigQueryデータ監視
2024/12/18
ブックマーク
はじめに こんにちは！Data Strategy teamでデータエンジニアをしているshota.imazekiです。 今回はBigQueryでのINFORMATION_SCHEMAを用いたBigQueryデータ監視というテーマでブログを書いていこうと思います。 BigQueryを利用していく上で「クエリが実行できなくなった」「データが古いまま更新されていない」「使われていないデータがある」などの様々な運用上の課題があるかと思いま
住まいマート開発チームにおける新規メンバー向けオンボーディングの取り組み
2024/12/18
ブックマーク
はじめに こんにちは！住まい領域アナリティクスエンジニアの半谷です。 住まい領域では、dbtを使ったデータマート開発をチーム
Ameba広告、効果的な施策を進めるために
2024/12/17
ブックマーク
はじめに この記事は CyberAgent Developers Advent Calendar 2 ...
データテストフェーズ論
2024/12/16
ブックマーク
はじめに 株式会社リクルートでアナリティクスエンジニアをしている岩井と申します。 主に次の2つの業務をメインに行なっています
Tableau Server から Tableau Cloud への大規模お引越しプロジェクト
2024/12/16
ブックマーク
はじめに こんにちは、データ推進室マリッジ＆ファミリー・自動車・旅行データソリューション部自動車データソリューショングルー
Dataform と BigQuery ML で実現するテキスト分析パイプラインの構築
2024/12/13
ブックマーク
はじめに こんにちは。クラウドエース第三開発部の泉澤です。 本記事では、Google Cloud のサービスである Dataform と BigQuery ML を使って、LLM による「テキスト分析パイプライン」を構築する方法をシェアします。 業務で BigQuery ML を使ってテキスト分析を実施した経験があるのですが、プロンプトや LLM のパラメータを設定する必要があるため、他の処理も同じクエリで行お
BigQueryとDatadogを活用したマーケティングオートメーションの監視
2024/12/13
ブックマーク
はじめに こんにちは、MA部MA基盤ブロックでマーケティングオートメーションのシステムを開発している長澤です。この記事ではBigQueryとDatadogを活用した監視を導入した話を紹介します。 はじめに、日々のマーケティングオートメーション（以下、MA）の開発・運用における課題としてシステム信頼性の向上がありました。ZOZOTOWNは年間の購入者数が1,100万人を超えており
【Amazon Athena】Athena初心者のための基礎知識と基本操作
2024/12/13
ブックマーク
こんにちは。SCSK池宮です。 今さらながら、先日Athenaデビューしました。 初心者にも非常に扱いやすいサービスですが、私と同じように「いざコンソールに入るとどこから始めていいか…」と悩んでしまう方向けに基本操作をまとめてみました。 お役に立ちましたら幸いです。 Amazon Athenaとは Amazon Athenaとは、S3上のデータに対し、サーバレスでクエリを行うことができる
Amazon SageMaker Lakehouse の統合アクセスコントロールが Amazon Athena フェデレーションクエリで利用可能に
2024/12/13
ブックマーク
12 月 3 日、データ、分析、AI の統合プラットフォームである次世代の Amazon SageMaker を発表しました。Amazon SageMaker には、広く採用されている AWS の機械学習と分析機能が統合されています。中核となるのは SageMaker Unified Studio (プレビュー) です。これは、データ探索、準備と統合、ビッグデータ処理、高速 SQL 分析、モデル開発とトレーニング、生成 AI アプリケーション開