クラウドエースData/MLディビジョン所属のODRです。 今回は、データ分析基盤構築・運用の支援 SaaS である trocco® のワークフロー機能を使用して、GUIでワークフローを作成してみたので、手順と感想をまとめました。 最後に、Google Cloud のワークフロー管理ツールとの比較も行いました。 trocco とは trocco®は、ELT/データ転送・データマート生成・ジョブ管理・データガバナンスなどの データエンジニアリング領域をカバーした、分析基盤構築・運用の支援SaaSです。 ht

はじめに こんにちは、クラウドエース データML ディビジョン所属の中村です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介

初めまして、Data/ML ディビジョンのオーディンです。 本記事では、Dataformで、BigQueryのデータをテストする方法を紹介します。 はじめに データの品質を保証するために、BigQueryのデータが想定通りかテストしたい場面は多いですが、下記のような理由で、テストが導入しにくい状況でした。 テスト用のフレームワークがないため、assert句などを使い自分でテスト用のSQLを組む必要があった 公式のエミュレータがないため、テストを行うには本物のBigQueryにクエリする必要があり、クエリの

はじめに こんにちは、クラウドエース データML ディビジョン所属の穂戸田です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹

こんにちは。ML・データ部　データ基盤ブロックの塩崎です。最近はつちのこフェスタが4年ぶりに開催されたというニュース 1 でアフターコロナの訪れを感じています。 さて、データ基盤のためのデータ転送パイプライン構築といいますと、多くの方はMySQLなどのデータベースからのデータ連携を思い浮かべるかと思います。実際にシステムの保有する多くのデータはデータベースに保存されており、データベースからのデータ連携は大きな部分を占めます。当ブログでも数々の事例を紹介してきました。 しかし、それ以外にもデータを保有してい

はじめに こんにちは！クラウドエース データML ディビジョン所属の住吉と申します。 データML ディビジョンとはクラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門としております。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。

G-gen の杉村です。Google Cloud（旧称 GCP）には組織（Organization）という概念があります。ガバナンスとセキュリティのために重要なこの機能を解説します。 組織の基本 組織（Organization）とは リソースの階層構造 組織リソース 組織 ID（顧客 ID） フォルダ、プロジェクト 組織のメリットとユースケース 組織を使う理由 複数プロジェクトの管理 利用可能なサービス・機能 組織を使わないリスク 組織の作成 Google Workspace と Cloud Identi

Google Cloud（旧称 GCP）の 学習に役立つオンラインコンテンツ を、サービスカットや分野別でまとめました。Google Cloud 初学者の方の基本的な学習のほか、資格取得にもお役立てください。 はじめに Google Cloud 全般 課金・コスト削減 アーキテクチャ・ベストプラクティス セキュリティ・統制 セキュリティ（ネットワーク） コンピューティング サーバーレス ネットワーク ストレージ データベース データ分析 生成 AI、Gemini AI/ML（機械学習） 開発・IaC 監視

G-gen の堂原です。本記事では、Looker Studio において、Google Sheets をソースとする BigQuery 外部テーブルに接続しようとすると発生する Permission denied エラーの対処法を紹介します。 はじめに 事象 : 外部テーブルへの接続でエラー 対処法 サマリ 各リソースの関係性 データの認証情報 手順 はじめに Google Cloud (旧称 GCP) が提供する BI ツールである Looker Studio では、データソースとして BigQuery

はじめに みなさんは、「ブロックチェーン」という言葉を聞いたことがあるでしょうか？ ブロックチェーンとは、ビットコインやイーサリアムなどの「暗号資産」と呼ばれるデジタルな通貨や資産を実現するために使われている技術です。 暗号資産は、銀行の預金や企業発行の電子マネーなどとは異なり、暗号技術を用いて誰でも自由に通貨を発行できる点に特徴があります。暗号資産技術により、2023年4月現在までに、少なくとも9000種類（※1）を超える暗号資産が発行され、暗号資産取引所などで取引が行われています。 ブロックチェーンの

G-gen 又吉です。Google Cloud (旧称 GCP) のデータ変換パイプラインツールである Dataform を解説します。 概要 Dataform とは 特徴とメリット 料金 Dataform のコンポーネント コンポーネント構成 リポジトリ リポジトリとは ファイル構成 開発ワークスペース 開発ワークスペースとは 開発ワークスペースの初期化 開発手法 リリース設定 (release configuration) アクセス制御 Dataform のアクセス制御 Dataform から Big

こんにちは、MA部MA開発1ブロックの齋藤（ @kyoppii13 ）です。 ZOZOTOWNではユーザ行動に基づくキャンペーン配信を実施しています。この配信はリアルタイムマーケティングシステム（以降、RTM）と呼ばれるシステムによって実現しており、RTMでは配信トリガーや配信タイミングの最適化等にユーザの行動ログを利用しています。 この行動ログは、ユーザがZOZOTOWNのページへアクセスした際に、HTTPリクエストをRTMが直接受信する形で収集していました。しかし、RTMの既存のログ収集機能はシステム

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 サーバーレス構成ではクラウドサービスのポテンシャルを最大限引き出すことができます。モダンなアプリケーションの設計にはサーバーレスへの理解が必須であり、あらためて整理することにしました。 G-gen の佐々木です。当記事ではクラウドサービスにおける サーバーレス・アーキテクチャ について、Google Cloud のプロダクトを例に解説します。 サーバーレスの概要 サーバーレス・アーキテ

Google Cloud Digital Native Leader’s Meetup に参加しましたチーフデータサイエンティストの Mario です！ 2023年3月24日（金）、Google Cloud Japan 様より Digital Native Leader’s Meetup にご招待頂き、参加してきましたのでレポートします。とてもありがたいことに Lightning Talk のスピーカーとして登壇させて頂きましたので、その内容についても触れていきます。 日本のデータ活用のリーダー達が渋谷ス

G-gen の神谷です。本記事では、Google Cloud のデータ分析系プロダクトのアップデートを取り上げ、変更点やその背景を考察し、プロダクトや機能についての理解を深めます。 新料金体系 BigQuery Editions BigQuery ML における推論での Vision API 等の呼び出し機能強化 リリース概要 当リリースのポイント CREATE TABLE AS SELECT 文による S3→BQ 移送時のデータフィルタリング機能がプレビュー リリース概要 BigQuery Omni と