G-gen の杉村です。2025年6月のイチオシ Google Cloud（旧称 GCP）アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Pub/Sub に Single Message Transforms（SMTs）機能が登場 BigQuery へのロード時に日付形式、タイムゾーンが指定可能に Google Workspace（Gmail） Googleドライブで "Catch me up" 機能が追加 Gemini アプリで GitHub リポジ

概要 本記事では、Grafana でマネージド Relational Database (以下、マネージド RDB) を効率よく可視化する方法を紹介します。 BigQuery の外部接続機能を利用して Cloud SQL for PostgreSQL のデータに接続し、Grafana で可視化します。 この構成では、BigQuery の federated queries（EXTERNAL_QUERY）を用いるため、クエリ内の接続名を変更するだけで、可視化の対象となるデータベースを簡単に切り替えられるとい

目次 はじめに 背景 Bandit / Contextual Bandit アルゴリズムとは？ レコ ...

はじめに アメーバブログでバックエンドエンジニアをしている須永です。 今回はアメーバブログで利用して ...

はじめに こんにちは、クラウドエースの木村です。 近年、AI エージェント技術は目覚ましい進化を遂げています。単一の指示に応答する従来のチャットボットとは異なり、自律的に思考し、計画を立て、複雑なタスクを実行する能力を持つようになりました。 この先進的なエージェント開発を支援するため、Google は、Google Cloud NEXT'25 にて Agent Development Kit (ADK) を発表しました。 本記事では、ADK をこれから利用する開発者の方を対象に、公式サンプルの中からデータ

G-gen の堂原です。本記事では Google Cloud（旧称 GCP）の BigQuery において、データセットとリモートモデルが異なるリージョンに存在する場合の、AI データ処理パイプラインを紹介します。 はじめに 本記事の趣旨 ML.GENERATE_TEXT 関数と Gemini 2.0 の対応リージョン 概要 今回用いるデータ テーブル構成と処理概要 留意点 実装 1. us-central1 へ転送するデータ抽出 2. データセット「tokyo_from_tokyo_to_us」のテーブ

はじめに こんにちは。メルペイ Solutionsチーム所属のデータエンジニア @orfeon です。 この記事は、 Merpay & Mercoin Tech Openness Month 2025 の15日目の記事です。 2020年にデータパイプラインをJSONで定義して実行することができるツールとしてmercari/DataflowTemplateを開発して OSSとして公開 しました。 最近このツールに大幅な機能追加を行い、 mercari/pipeline と名前を変更してv1.0.0(

G-gen の松本です。この記事では Google Workspace の AppSheet Core と AppSheet Enterprise Plus の違いについて解説します。 概要 AppSheet とは AppSheet のサブスクリプションプラン AppSheet Core Google Workspace に無料付帯 テンプレートから簡単にアプリ作成 Google Workspace アプリとの連携 管理コンソールでの制御 AppSheet Enterprise Plus 最上位プラン G

G-gen の杉村です。Google Cloud のログ収集、保管、閲覧サービスである Cloud Logging のクエリ言語を徹底解説します。 クエリ言語 Logging クエリ言語とは クエリ言語のその他の用途 基本的な使い方 クエリの仕方 例文 ログエクスプローラでの生成 ブール演算子 AND、OR 括弧 NOT 比較演算子 =、!=（equal、not equal） :（has） フィールドの存在確認 正規表現 =~、!~（正規表現） 正規表現の記述 検索のスピード 文字列の検索 グローバル制限

目次 はじめに Liam ERD とは 主な特徴 サポート状況 導入 手順 1. Liam ERD のビルドをさせるための Dockerfile を用意する 2. Docker Compose ファイルを用意する 3. テーブル構成を出力するためのコマンドを用意する 4. テーブル構成を出力する 使い勝手 まとめ 最後に はじめに こんにちは、開発本部開発1部トモニテグループのエンジニアの rymiyamoto です。 プロダクトを開発していると、DB のテーブルは常に変化していきます。 そのため、テーブ

G-gen の杉村です。BigQuery では、Cloud Storage 上の CSV 形式や JSON 形式のファイルをテーブルに読み込ん（ロード）だり、外部テーブル定義によって直接クエリすることができます。日付を含むファイルをロードしたりクエリしようとした際に発生したエラーについて、対処法を解説します。 前提 事象 1. LOAD の際のエラー 2. 外部テーブルへのクエリの際のエラー 原因 対処法 1. date_format オプションを指定する 2. STRING 型として取り込む 3. スキ

G-genの福井です。BigQuery Data Transfer Service のイベントドリブン機能の設定手順を紹介します。 イベントドリブン転送の概要 BigQuery Data Transfer Service とは ユースケース アーキテクチャ 制限事項 料金 事前準備 API の有効化 サービスアカウントの作成とロールを付与 設定手順 データの格納先をCloud Storageに作成 データの転送先をBigQueryに作成 BigQuery Data Transfer Serviceで転送構

はじめに こんにちは！メルペイのBalanceチームの中にあるSettlementチームでインターンをしていました、somaです。 この記事は、 Merpay ＆ Mercoin Tech Openness Month 2025 の10日目の記事です。 本記事では、インターンでやったことやその感想などを書いていこうと思います。 チームについて Settlementチームは、主にメルペイの加盟店さまの売り上げを集計し、振り込みの指示を行うといった役割を担当しています。 Settlementのシステムについて

はじめに こんにちは、クラウドエースのベアです。 今回は Application Integration を使用して FTP サーバーから CSV ファイルをダウンロードし、Cloud Storage を経由して BigQuery に格納するデータ連携を行いたいと思います。 Application Integration について Application Integration とは、Google Cloud が提供する iPaaS (Integration Platform as a Service)

こんにちは、SCSKの齋藤です。 本記事では、クラウド型データ連携サービスであるFivetranを活用し、BigQueryに効率的にデータを格納する方法について解説します。データエンジニアリングの知識がなくても、Fivetranを使えば、簡単にデータ連携パイプラインを構築することができます。 Fivetranとは Fivetran（ファイブトラン）は、クラウドベースのデータ連携（ETL/ELT）パイプラインサービスです。 簡単に言うと、様々なデータソースからデータを抽出し、データウェアハウスやデータレイク