はじめに クラウドエース第三開発部の角谷（かどたに）です。 BigQuery リモート関数を使用したクエリを実行し、 Slack とメールアドレス（Gmail）に通知する仕組みを作ってみましたのでその方法を紹介します。 システム アーキテクチャ 使い方 BigQuery のクエリエディタで、送りたいメッセージを引数にリモート関数 send_message を実行します。 SELECT `{プロジェクト ID}.my_dataset.send_message`(test message); すると、あらかじ

はじめに クラウドエース第三開発部の角谷（かどたに）です。 BigQuery リモート関数を使用したクエリを実行し、 Slack とメールアドレス（Gmail）に通知する仕組みを作ってみましたのでその方法を紹介します。 システム アーキテクチャ 使い方 BigQuery のクエリエディタで、送りたいメッセージを引数にリモート関数 send_message を実行します。 SELECT `{プロジェクト ID}.my_dataset.send_message`(test message); すると、あらかじ

G-gen の杉村です。2025年2月のイチオシ Google Cloud（旧称 GCP）アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに 生成 AI アプリ保護のフルマネージドサービス Model Armor が公開 Google スプレッドシートの性能が改善 OneDrive から Google ドライブへのデータ移行ツールが一般公開 Gemini 2.0 Flash が GA。2.0 Flash Lite や 2.0 Pro も利用可能に Gemi

データ&AIチームでデータエンジニアを担当している塚田です。 弊社のデータ基盤はさまざまなデータソースからデータを連携しており、そのデータを活用することで全社のデータ基盤として成り立っています。 その中で、Google Analytics for Firebaseの活用をベースにBigQueryのコストダウンした事例をご紹介できればと思います。 概要 改めて、弊社ではGoogle Analytics for Firebaseなど色々な基盤を用いてログを収集していいます。 今回はGoogle Ana

こんにちは。千葉県の特産品として真っ先に思い浮かぶものがヨウ素 *1 な、データシステム部データ基盤ブロックの塩崎です。 この記事ではBigQueryストレージの費用を計算する方法と、費用を節約するための戦略について説明します。BigQueryストレージの費用計算をするために、まずストレージを2軸・8種類に分類し、それぞれの軸の視点から費用節約をする方法を紹介します。特にTime travel機能やFail-safe機能が関わると計算ミスをしやすくなるため、それらについても説明します。 ストレージの分類

最近GitHubの認証情報の取り扱いで悩んでいる GHE管理者の石川です。 GitHub ActionsのOIDCを使った各種クラウドとの認証便利ですよね！ OIDC利用も増えてきたしPAT周りをもっと綺麗にできないだろうかと考えています。 classic PAT廃止してFine-grained PATとGitHub Appにしたい → いまどのくらい使われているのだろう → GitHub上に認証情報記載されてない？ といった具合に、整理よりも先に掃除の必要性を感じてきました。 弊社のGitHub組織には

こんにちは！SCSKの新人営業、栗山です。 皆さんの会社では、電話応対をどのように行っていますか？ 顧客対応の質向上や効率化 は、多くの企業にとって重要な課題ですよね 近年、AI技術を活用した 電話応対のDX が注目されています。 例えば、音声認識技術を使えば、顧客との会話を自動でテキスト化し、分析したり、対応を効率化したりすることが可能になります！ 今回は、Google Cloudが提供する音声認識サービス Google Cloud Speech-to-Text の検証を通して、AIによる電話応対DXの

グループデータ本部データサイエンスグループの嶋村です。 今回は 事業部門と研究開発部門が密に連携 して「おとり物件」と呼ばれる 社会課題の解決に挑んだ取り組み について紹介したいと思います。この記事では主に研究開発部門の視点での発信になりますが、事業部門の視点での発信もありますので、是非下記の記事もご覧いただけると嬉しいです。 note.com 物件鮮度向上のための取り組み 適用イメージと評価指標のすりあわせ データの収集と理解 精度向上に向けたアイデア出し 機械学習モデル作成のためのワークフロー整備 機

こんにちは、クラウドエース株式会社の許です。 この記事では、Cloud Storage にアップロードした CSV ファイルを BigQuery に自動インポートする方法について紹介します。 大まかな構成 以下のような構成で実装していきます。 Cloud Storage に CSV ファイルをアップロードすると、Cloud Run Functions がトリガーされ、BigQuery に自動インポートされます。 Cloud Run Functions は、いくつかトリガーが存在していますが、今回は Clo

こんにちは、クラウドエース株式会社の許です。 この記事では、Cloud Storage にアップロードした CSV ファイルを BigQuery に自動インポートする方法について紹介します。 大まかな構成 以下のような構成で実装していきます。 Cloud Storage に CSV ファイルをアップロードすると、Cloud Run Functions がトリガーされ、BigQuery に自動インポートされます。 Cloud Run Functions は、いくつかトリガーが存在していますが、今回は Clo

株式会社メルカリのPlatform Enablerチームで新卒エンジニアとして働く Tianchen Wang (@Amadeus) です。今回は、Large Language Model (LLM)を利用してフリマアプリ「メルカリ」の次世代インシデント対応を構築した事例を共有します。 今日の急速に進化する技術環境において、堅牢なオンコール体制を維持することは、サービスの継続性を確保するために重要です。インシデントは避けられないものですが、迅速に対応し解決する能力は、お客さまに安心・安全の体験を提供するた

はじめに こんにちは、クラウドエース 第三開発部の松本です。 普段はデータ基盤や機械学習システムを構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しています。 今回は、Professional Data Engineer 試験対策ガイドのデータストレージ編として、データ取り込み編に続き、データストレージのプロダクトを中心に試験対策の内容をご紹介します！ 尚、前回のデータ取り込み編をまだ見ていない方は、以下をぜひご覧ください。 https://zenn.dev/cloud_ace

はじめに こんにちは、クラウドエース 第三開発部の松本です。 普段はデータ基盤や機械学習システムを構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しています。 今回は、Professional Data Engineer 試験対策ガイドのデータストレージ編として、データ取り込み編に続き、データストレージのプロダクトを中心に試験対策の内容をご紹介します！ 尚、前回のデータ取り込み編をまだ見ていない方は、以下をぜひご覧ください。 https://zenn.dev/cloud_ace

はじめに こんにちは、データシステム部データ基盤ブロックの奥山（ @pokoyakazan ）です。普段は全社データ基盤の開発・運用を担当しており、最近ではZOZO全体のデータガバナンス強化にも取り組んでおります。本記事ではCloud Composer上に構築しているデータマート集計基盤でdbtのモデル更新も行えるようにした事例についてご紹介します。 目次 はじめに 目次 背景 データマート集計基盤 dbt導入 データマートの使い分け dbt導入にあたっての課題 モデルごとに自動リトライができない 依存関

G-gen の杉村です。2025年1月のイチオシ Google Cloud（旧称 GCP）アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに 2つの新しい Google Cloud 認定資格が一般公開（GA）に Vertex AI RAG Engine が一般公開（GA） Vertex AI Search for retail が 〜 for commerce に改名 Cloud Run からコンテナイメージの暗黙的な読み取り権限が終了 Cloud Run