G-gen の武井です。当記事では VPC Service Controls のドライランモードについて解説します。 はじめに VPC Service Controls とは ドライランモード ドライランモードの仕組み ドライランモード 概要 構成 設定項目 Access Context Manager 設定 権限 アクセスレベル 境界 (ドライランモード) 実例解説 評価の流れ 実例1 ログ確認 原因の特定 詳細確認 考察と対応 実例2 ログ確認 原因の特定 詳細確認 その1 詳細確認 その2 考察と対

はじめに こんにちは、ML・データ部推薦基盤ブロックの栁澤（ @i_125 ）です。私はZOZOのデータ基盤におけるデータガバナンス強化を実現するために、Analytics Engineerとして複数の部門を跨ぐプロジェクトチームに参加しています。本記事ではZOZOにおけるデータガバナンス上の課題と、その課題の解決策の1つとしてdbtを導入した話をご紹介します。 目次 はじめに 目次 背景 課題 データマートの乱立 集計定義のばらつき 依存関係の洗い出しが困難 データモデリングツールの比較検討 データ変換

G-gen の杉村です。当記事では、 BigQuery Data Transfer Service で提供される、 データセットコピー 機能を解説します。 BigQuery Data Transfer Service とは データセットコピー機能とは ユースケース 認証・認可 データ転送の挙動 注意点 ストレージ料金 複製の対象外のリソース BigQuery Data Transfer Service とは BigQuery Data Transfer Service は、外部から BigQuery への

はじめに こんにちは、クラウドエース データソリューション部の穂戸田です。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 本記事では、BigQuery ML 関数を一部ご紹介し、SQL の

はじめに こんにちは。クラウドエース データソリューション部所属の 髙根 です。 クラウドエースの データソリューション部 では、IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門としています。 データソリューション部の活動の一環として、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中で、特に重要と考えるリリー

G-gen の杉村です。2024年2月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Meet で参加者全員向けに画面のピン留めができるように Cloud Logging から Cloud Storage へのエクスポート Cloud Translation で Adaptive Translation が Preview => GA（Preview） Google Meet API が Preview =&

はじめに こんにちは、クラウドエースデータソリューション部所属のヒッキーです。クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータソリューション部です。 データソリューション部では活動の一環として、毎週 Google Cloud (旧 Google Cloud Platform、以下「GCP」) の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重

1. はじめに こんにちは、クラウドエース データソリューション部所属の泉澤です。 クラウドエースのITエンジニアリングを担うシステム統括部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータソリューション部です。 データソリューション部では活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹

みなさんこんにちは！ ワンキャリアでデータエンジニアをしている野田です！（GitHub： @tsugumi-sys ） 最近はウイスキーにハマっています！ジャパニーズウイスキーの価格が高騰する中、お手頃で美味しいものはないかと血眼になって探している日々です。最近飲んだ中で一番美味しかったのはシーバスリーガル18年です。さて、趣味の話はこれくらいにして、早速本題に入っていきましょう！ 本記事では、AWS Lambda（Python）を用いてデータパイプラインなどを構築する際のディレクトリ構成やテスト方法等の

はじめに こんにちは、クラウドエースの岸本です。 今回は、前回の記事で作成した LINE と Vertex AI Search and Conversation の社内チャットボットの続編です。 LINE で受け取った質問をカテゴリ化し、Looker Studio で可視化してみたいと思います。 Looker Studio については以下の動画、記事で簡単に説明されています。 今回の構成図です。 対象読者 Google Cloud を触るのが初めての方 Google Cloud が好きな方 やること・やら

はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張っていきたいと思います。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括

G-gen の杉村です。 Pub/Sub の BigQuery サブスクリプション を使うと、Pub/Sub に対して発行したメッセージを簡単に BigQuery テーブルに書き込むことができます。 前提知識 BigQuery サブスクリプションとは スキーマ テーブルの作成 Pub/Sub トピックの作成 Pub/Sub サブスクリプションの作成 メッセージ送信のテスト BigQuery テーブルの確認 前提知識 BigQuery サブスクリプションとは Pub/Sub は、Google Cloud（旧

SREチームの島です。最近Terraformを書いてるのですがまだまだ理解不足なところもあり日々試行錯誤しています。 今日は開発環境をTerraformで作成した話をします。 背景 複数人でGCP上で動くアプリを開発したい 各自がローカルで変更したソースを動作確認できる環境を作りたい やりたいこと 各自がローカルで変更したソースを動かせる環境をGCP上に作りたい 全部ローカルに作れたら良かったが作るのが大変なので手っ取り早く動く環境を作りたかった 各自が自由に自分用の環境を作成、削除できるようにしたい。ま

当記事では、Google Cloud のログ管理サービス Cloud Logging の Tips を紹介します。 Cloud Logging とは ログカテゴリと保存先 全体像 カテゴリ 保存先 保持期間 ログ料金の節約 2 つの料金軸 Cloud Logging 料金の節約 Gemini Cloud Assist データアクセス監査ログ 有効は継承される 閲覧には追加権限が必要 参考記事 Cloud Logging とは Cloud Logging （旧称 Stackdriver Logging）は、

G-gen の片岩です。当記事では文書のデジタル化と解析を自動化するサービスである Document AI について解説します。 概要 Document AI とは ユースケース 利用方法 対応フォーマット プロセッサ プロセッサとは 汎用プロセッサ OCR プロセッサ Form パーサー 専用プロセッサ カスタムプロセッサ カスタムドキュメントエクストラクタ カスタムドキュメント分類器 カスタムドキュメントスプリッター サマライザ トレーニング Document AI におけるトレーニング カスタムドキ