「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全709件中 1 - 15件目
自社開発AIによる「おとり物件」検知・自動非掲載機能の実用化に向けた取り組み
2025/02/14
ブックマーク
グループデータ本部データサイエンスグループの嶋村です。 今回は 事業部門と研究開発部門が密に連携 して「おとり物件」と呼ばれる 社会課題の解決に挑んだ取り組み について紹介したいと思います。この記事では主に研究開発部門の視点での発信になりますが、事業部門の視点での発信もありますので、是非下記の記事もご覧いただけると嬉しいです。 note.com 物件
Cloud Storage にアップロードしたCSVファイルを BigQuery に自動インポートする
2025/02/14
ブックマーク
こんにちは、クラウドエース株式会社の許です。 この記事では、Cloud Storage にアップロードした CSV ファイルを BigQuery に自動インポートする方法について紹介します。 大まかな構成 以下のような構成で実装していきます。 Cloud Storage に CSV ファイルをアップロードすると、Cloud Run Functions がトリガーされ、BigQuery に自動インポートされます。 Cloud Run Functions は、いくつか
LLM x SRE: メルカリの次世代インシデント対応
2025/02/06
ブックマーク
株式会社メルカリのPlatform Enablerチームで新卒エンジニアとして働く Tianchen Wang (@Amadeus) です。今回は、Large Language Model (LLM)を利用してフリマアプリ「メルカリ」の次世代インシデント対応を構築した事例を共有します。 今日の急速に進化する技術環境において、堅牢なオンコール体制を維持することは、サービスの継続性を確保するために重要です。インシデントは避け
Professional Data Engineer 完全攻略ガイド:データストレージ編
2025/02/05
ブックマーク
はじめに こんにちは、クラウドエース 第三開発部の松本です。 普段はデータ基盤や機械学習システムを構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しています。 今回は、Professional Data Engineer 試験対策ガイドのデータストレージ編として、データ取り込み編に続き、データストレージのプロダクトを中心に試験対策の内容をご紹介します! 尚、前回
dbt導入によるデータマート整備 〜Cloud Composer編〜
2025/02/04
ブックマーク
はじめに こんにちは、データシステム部データ基盤ブロックの奥山( @pokoyakazan )です。普段は全社データ基盤の開発・運用を担当しており、最近ではZOZO全体のデータガバナンス強化にも取り組んでおります。本記事ではCloud Composer上に構築しているデータマート集計基盤でdbtのモデル更新も行えるようにした事例についてご紹介します。 目次 はじめに 目次 背景 データ
2025年1月のイチオシGoogle Cloudアップデート
2025/02/03
ブックマーク
G-gen の杉村です。2025年1月のイチオシ Google Cloud(旧称 GCP)アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに 2つの新しい Google Cloud 認定資格が一般公開(GA)に Vertex AI RAG Engine が一般公開(GA) Vertex AI Search for retail が 〜 for commerce に改名 Cloud Run からコンテナイメージの暗黙的な読み取り権限が終了 Cloud Run jobs
データ品質や組織について合同勉強会を開催しました!
2025/02/03
ブックマーク
ファインディでデータエンジニアとして働いている ひらき( hiracky16 )です。 今回はデータ基盤チームで「エンドユーザーのためのデータ品質向上への取り組みと展望」という題目で合同勉強会を開催したので、そのレポートをお届けします。 データエンジニアは自社内の課題解決に集中するあまり、一般的なアプローチを学ぶ機会が不足しやすい傾向にあります。 私
LLMツールを開発してレビューパトロール時間を67.7%削減した話
2025/01/31
ブックマーク
はじめに こんにちは、データサイエンス部データサイエンス2ブロックの Nishiyama です。我々のチームでは、AIやデータサイエンスを活用したプロダクトの開発ために、研究開発に取り組んでいます。我々のチームの具体的な業務については、以下の記事を参考にしてください。 techblog.zozo.com 本記事では、レビューパトロールの業務時間を67.7%削減したガイドライン違反検
Datastream を使って Cloud Storage と BigQuery に CDCデータを格納してみた
2025/01/30
ブックマーク
はじめに こんにちは。クラウドエース第三開発部の工藤です。 今回は Datastream を使って Cloud SQL for PostgreSQL の Change data capture(以下、CDC)データを Cloud Storage と BigQuery に格納する方法を紹介します。 CDC とは ソースとなるデータベースに加えられた変更をリアルタイムで記録し、追跡する手法です。 DB で発生した変更情報(INSERT、UPDATE、DELETE など)を追跡できます。 デ
BigQueryのアンチパターン認識ツールで独自のSQLリンターを開発しました
2025/01/30
ブックマーク
こんにちは、株式会社ZOZOで25卒の内定者アルバイトをしている村井です。この記事では業務で取り組んでいる、BigQueryで使うSQLのリンターの作成方法について紹介します。 目次 目次 課題と解決策 課題 解決策 BigQueryのアンチパターン認識ツール ミニマムな使い方 日本語がSQL内に含まれている際の問題 アンチパターンを定義する リンターとしてBigQueryのアンチパターン認
Google Workspaceの監査ログ 保持期間延長方法 ~BigQueryへ転送~
2025/01/28
ブックマーク
こんにちは。SCSKの磯野です。 Google Workspaceの監査ログは、保持期間が6か月程度のものがほとんどです。 例)SAML のログイベント データ:6か月 データの保持期間とタイムラグ - Google Workspace 管理者 ヘルプ レポート、セキュリティ調査ツール、監査と調査ページタイムラグにより、セキュリティ調
障害情報を活用した分析とレポーティングの取組み
2025/01/27
ブックマーク
こんにちは、テクノロジー本部の木村です。障害報告のデータによる障害傾向分析やレポーティングの取り組みについてご紹介します。 障害管理の改善を目指す方々に参考になれば幸いです。 障害報告の入力項目 集計項目とツール 障害発生率(当月の開発系起因の障害件数/当月のリリース件数) 検出時間・対応時間・復旧時間の月平均推移 想定損害金額 傾向分析 ま
Professional Data Engineer 完全攻略ガイド:データ取り込み編
2025/01/22
ブックマーク
はじめに こんにちは、クラウドエース 第三開発部の松本です。 普段はデータ基盤や機械学習システムを構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しています。 今回は、Professional Data Engineer 完全攻略ガイドのデータ取り込み編として、データエンジニアリング基礎編に続き、データ取り込みプロダクトを中心に試験対策の内容をご紹介します! 尚
GoogleドライブをデータソースとするVertex AI Searchのウィジェットをウェブサイトに埋め込む
2025/01/22
ブックマーク
G-gen の堂原です。当記事では、 Google ドライブ をデータソースとする Vertex AI Search が提供するウィジェットを、 Cloud Run で構築したウェブサイトに埋め込む手順を紹介します。 はじめに 留意点 前提知識 Vertex AI Search 権限設計 Vertex AI Search の設定 事前準備 ドメインの許可設定 OAuth 同意画面作成 OAuth 2.0 クライアント ID 作成 Cloud Run サービス作成 処理の流れ ソースコード
BigQuery Data Transfer ServiceでPostgreSQLのデータを転送してみた
2025/01/21
ブックマーク
G-gen の杉村です。BigQuery Data Transfer Service で Cloud SQL にホストされた PostgreSQL のデータを転送する検証を行いましたので、共有します。 はじめに BigQuery Data Transfer Service とは 当記事について 環境のセットアップ Cloud SQL インスタンスの起動 テーブルとデータの準備 転送の作成 検証 初回転送 レコードの追加(差分転送) レコードの更新 レコードの削除 挙動のまとめ はじ