この記事は、 Merpay Tech Openness Month 2023 の11日目の記事です。 こんにちは。メルペイのデータマネージャー @katsukit です。 本日は、現在メルペイで取り組んでいる非エンジニアのためのデータ集計環境についてご紹介します。 はじめに データ活用には可視化、分析、調査、ML、CRMなど、さまざまな場面があると思います。エンジニアはもとよりデータアナリスト、マーケター、プロジェクトマネージャーなどと利用するユーザーもさまざまです。 これらの利用シーンで使用するデータに

こんにちは。Data Engineeringチームの河野(@matako1124) です！ Airflowで依存関係の設定にExternalTaskSensorを使っているのですが、ExternalTaskSensorを使用する時は、以下2つを注意しなければいけません。 実行時間が同じでなければいけない DAG名、Task名も正確に記載しないといけない これを間違えてしまうと、Pokingし続けてしまいます。 特にリファクタでDAG名やTask名が変わるといったことはよく起こりうると思います。 今回は「D

こんにちは。Data Engineeringチームの河野(@matako1124) です！ Airflowで依存関係の設定にExternalTaskSensorを使っているのですが、ExternalTaskSensorを使用する時は、以下2つを注意しなければいけません。 実行時間が同じでなければいけない DAG名、Task名も正確に記載しないといけない これを間違えてしまうと、Pokingし続けてしまいます。 特にリファクタでDAG名やTask名が変わるといったことはよく起こりうると思います。 今回は「D

クラウドエース北野です。 6月12-16日までのGoogle Cloudの主なリリースに関して紹介します。 ! 該当の日のすべての情報ではないので、すべてのリリースノートを確認されたい方は、当該ページからご確認ください。 AlloyDB for PostgreSQL Quota ページから、AlloyDB の割り当て上限の追加依頼の機能提供 Cloud SQL PostgreSQL でシステム分析情報ダッシュボードの提供 (GA) MySQL でシステム分析情報ダッシュボードの提供 (Preview) シ

みなさんどうもこんにちは、AI事業本部の「極予測TD」というプロダクトで2023年2月から2ヶ月間、 ...

本連載では、ブロックチェーンの基本的な仕組みを解説しながら、オンチェーンデータを分析するための基本的な手法について、全8回で紹介します。 第2回となる今回は、ブロックチェーン技術が最初に発明された暗号資産（仮想通貨）であるビットコインの仕組みについて、技術的な観点やその目的などを中心に解説します。 ビットコインのデータ構造 本連載の最終的なゴールは、オンチェーンデータと呼ばれるブロックチェーン上のパブリックデータを用いたデータ分析ができるようになることですので、ブロックチェーンのデータ構造の理解が重要とな

はじめに こんにちは、クラウドエース データML ディビジョン所属の松本です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介

この記事は、 Merpay Tech Openness Month 2023 の1日目の記事です。 背景 メルペイのバックエンドエンジニアのa-r-g-vとsminamotです。私達はメルペイ加盟店の管理システムを開発しているチームに所属しています。私達のチームには、複雑な条件を持つBigQueryのSQLクエリがいくつか存在しています。例えば、加盟店管理に関する費用計算などの計算クエリのように、外部環境の変化によって要件が定期的に変更され、マイクロサービス化などのシステム化が難しいクエリがあります。この

G-gen の杉村です。コネクテッドシートと BigQuery を使い、技術ブログの GA4 アクセス解析をしている事例について、技術的な観点でご紹介します。 はじめに 技術ブログと GA4 データ保持期間と BigQuery コネクテッドシートの利用 エクスポートされた GA4 データの特徴 構成 構成図 ビューの活用 ネストを解き集計するためのビュー利用 マテリアライズド・ビューは断念 BigQuery へのアクセス権限 実装 やろうとしたこと コネクテッドシート接続 VLOOKUP / SUMIF

G-gen の杉村です。当記事は BigQuery について徹底的に解説する記事の 応用編 です。BigQuery に初めて触れる方は、まず 基本編 の記事をご参照ください。 基本編の記事 外部データ連携の概要図 外部テーブル 外部テーブルとは 用途 Cloud Storage 外部テーブル Google ドライブ外部テーブル Bigtable 外部テーブル BigLake BigLake とは データソース 通常の外部テーブルとの違い 利点 権限の持たせ方 BigQuery コネクタ BigQuery

クラウドエース北野です。 今週で5月も終わりですね。先週から Google Cloud Day'23 Tour in TOKYO - Onlineが開催されました。アーカイブ動画で、登壇内容を確認できるので、見逃した方は、お時間のあるときにご覧ください。また、今週、6月2日 (金)は大阪で Google Cloud Day '23 Tour in OSAKA - Hybridが開催されますので、参加される方はお楽しみください。 Compute Engine C3のマシンシリーズの提供 (GA) C3マシン

こんにちは、SREディビジョンの島田です。 Datadog のCSPM をGoogle Cloud で使ってみたので紹介したいと思います。 概要 Datadog CSPM はDatadog社の提供するCloud Security Posture Management（以下CSPM）サービスです。 CSPM とはCloud Security Posture Management の略で、クラウド サービスの脆弱な設定を検出するツールやサービスの総称です。 このDatadog CSPM はDatadog のオ

Terraform利用のお供にtfsecをおすすめしたい みなさん、こんにちは。 クラウドエースでいつだってごきげんをキャッチフレーズにSREをしている、長野と申します。 今回はtfsecを使ってみたので、その紹介をさせて頂きたいと思います。 ちなみにtfsecは、Terraformのコードをセキュリティ上の問題や一般的なベストプラクティスに基づいてスキャンする静的解析ツールです。 aquasecurity/tfsec: Security scanner for your Terraform code ど

クラウドエースData/MLディビジョン所属のおでんです。 今回は、データ分析基盤構築・運用の支援 SaaS である trocco® のdbt連携機能を使用して、 trocco® のワークフローとdbtジョブを連携してみたので、手順と感想をまとめました。 trocco®とは trocco®は、ELT/データ転送・データマート生成・ジョブ管理・データガバナンスなどの データエンジニアリング領域をカバーした、分析基盤構築・運用の支援SaaSです。 今回は、dbt連携機能を使用して、 trocco® のワークフ

こんにちは、MA部の谷口（ case-k ）と @gachi-muchi-engineer です。 私達のチームではマーケティングオートメーションシステムの開発や運用をしています。ZOZOTOWNではマーケティングオートメーションによって、メールやPush、LINEなど各チャンネルに対して日々配信しています。配信方法は大きく2種類に分けられ、特定のユーザーセグメント向けの「マス配信」と、個別のユーザーに最適化された「パーソナライズ配信」があります。パーソナライズ配信基盤を社内ではリアルタイムマーケティング