はじめに こんにちは！ Microservices Platform Network チーム の hatappi です。 メルカリでは、2023年からCDNプロバイダーを Fastly から Cloudflare へと段階的に移行してきました。現在、ほぼすべての既存サービスのトラフィック移行が完了しており、新規サービスについては全て Cloudflare を使用しています。 この記事では、CDNプロバイダーの比較ではなく、移行プロセスに焦点を当て、スムーズに移行するために実施したアプローチを解説します。ま

こんにちは。メルコインでバックエンドエンジニアをしているiwataです。 この記事は、 Merpay & Mercoin Advent Calendar 2024 の記事です。 tl;dr バッチ処理のSLO定義って難しい… そんな悩みを解決するSLO定義方法 BigQueryとSpanner External Datasetを活用した具体的な監視方法の紹介 メルコインの安定稼働を支える技術 最近ではビットコインやイーサリアムを 積み立てる機能 を開発していました。 積立の開発では積立

はじめに Iceberg とは？ Iceberg Table for BigQuery Iceberg Table を作る 用意するもの テーブル作成 データを入れる Time Travelできないし、なんだかメタデータがめっちゃ少ない！！！ 次へ はじめに 当記事を開いていただきありがとうございます。 電通 総研 エンジニアリングオフィスの徳山です。 この記事は、テーブルフォーマットの Iceberg についての初歩的な内容を説明します。 BigQuery で Iceberg 形式のデータを作成し、実体

はじめに こんにちは。機械学習エンジニアの田中健斗 (kent0304 ) です。まなび領域のスタディサプリで機械学習プロダクト・データ基盤の開

はじめに こんにちは、アナリティクスエンジニアの林田です。 データ推進室 データマネジメント部では、情報共有やコミュニケーショ

はじめに この記事は Findy Advent Calendar 2024 21日目の記事です。 adventar.org データソリューションチーム、エンジニアの土屋(@shunsock)です。本日は、Findy Toolsのデータ基盤を構築したので、その内容を共有します。 Findy Tools は、2024年1月23日にリリースされた開発ツールのレビューサイトです。利用者は開発者向けツールのレビューやアーキテクチャの記事を閲覧、投稿できます。 Findy Toolsのデータ基盤のシステム設計の紹介

こんにちは、GASエンジニア の 佐伯 です。 この記事は Enigmo Advent Calendar 2024 の 21 日目の記事です。 この記事では Google 製の アプリ開発 ツールである、AppSheet について紹介します。 軽く自己紹介になりますが、普段はGAS（ Google Apps Script）やBigQueryなどを用いて業務用ツールの開発を行っています。最近はGASとの親和性も高いAppSheetに挑戦しているので、その中で気づいたことをまとめます！ 概要 AppSheet

G-gen の三浦です。当記事では、Google ドライブのインベントリレポート機能を使ったセキュリティリスクの管理方法を紹介します。 概要 ドライブインベントリとは 前提条件 設定の概要 設定手順 [Google Cloud] BigQuery データセットの作成 [Google Workspace] インベントリレポートの有効化 [Google Cloud] レポートデータの確認 データ抽出例 サンプルクエリ①：アクセス権が「リンクを知っているインターネット上の誰もがアクセスできる」ファイルの抽出 サ

こんにちは、データエンジニアの中村です。 新卒で入社してから、気づけば2年が経とうとしています。時間の流れは本当に早いものですね。 今回は、私がこれまで取り組んできたデータ基盤におけるアクセス制御に関する技術と取り組みについてお話ししようと思います。 昨日に引き続きデータ基盤関連の記事になりますが、ぜひ最後までご覧ください！ この記事は Enigmo Advent Calendar 2024 の 20日 目の記事です。 目次 背景 ポリシータグとは ポリシータグの利用イメージ ポリシータグによるアクセス制

クラウドエースの北野です。 Cloud Build の結果を Slack に通知する方法を紹介します。 概要 Cloud Build を以下のシステム構成で Slack に通知させます。 Pub/Sub に Cloud Build の結果の通知 Secret Manager、Cloud Storage に Slack の通知先情報と、通知するメッセージの内容の保存 Cloud Build Notifier を使い Slack に通知 はじめに Cloud Build の承認機能の利便性や、Google C

こんにちは、データエンジニアの中村です。 弊社ではBIツールとして Google Cloudから提供されている Looker を利用しています。 Lookerの利用者も徐々に増えており、日々データ活用が進んでいることは嬉しいですが、それと比例して気になるのは ダッシュ ボードの表示速度やクエリコスト等のパフォーマンスです。 最近 AggregateAwareness という機能を利用してパフォーマンスを改善することができたので、その機能を利用するに至った背景と、その改善効果を紹介したいと思います。 Agg

はじめに こんにちは！Data Strategy teamでデータエンジニアをしているshota.imazekiです。 今回はBigQueryでのINFORMATION_SCHEMAを用いたBigQueryデータ監視というテーマでブログを書いていこうと思います。 BigQueryを利用していく上で「クエリが実行できなくなった」「データが古いまま更新されていない」「使われていないデータがある」などの様々な運用上の課題があるかと思います。それをINFORMATION_SCHEMAで使って簡単に解決していこうと

はじめに こんにちは！住まい領域アナリティクスエンジニアの半谷です。 住まい領域では、dbtを使ったデータマート開発をチーム

はじめに この記事は CyberAgent Developers Advent Calendar 2 ...

こんにちは、データ戦略部 データプロダクト課の鈴木です。 最近LLMやチャットボットなどが流行りに流行っていますが、実際に業務で活用しようとするとコスト問題や情報漏洩リスクなど、様々な要因でハードルが高いと感じる方も多いのではないでしょうか。 本記事ではGoogleのAIモデル Gemini ProとLooker Studioを利用することで、情報漏洩リスクが低いチャットボットを、初期コストゼロで、さらに1時間で簡単に作成する方法をご紹介します。 1. 今回作成するチャットボットの概念図 今回作成するチャ