G-gen の杉村です。BigQuery の特殊な GROUP BY 構文である GROUP BY GROUPING SETS GROUP BY CUBE GROUP BY ROLLUP について解説します。 はじめに GROUP BY GROUPING SETS GROUP BY CUBE GROUP BY ROLLUP はじめに BigQuery で以下の特殊な GROUP BY 構文が、2023年10月9日に Preview 公開、2024年2月26日に一般公開（GA）されました。 GROUP BY

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の川人です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 以前はオンライン広告配信事業を行う会社でデータサイエンティストとして働いており、クラウドエースには今年 10 月 1 日から中途で入社しました。 前職から開発は Google Cloud（旧 Google Cloud Platfo

NHK関連の話ではないです こんにちは harry( @gappy50 )です〜。 これまでクラシルでデータエンジニアをしておりましたが、最近クラシルリワードという別プロダクトでデータエンジニアをしております。 クラシルリワードのデータ基盤は以下に詳細がありますので、ご興味あればどうぞ！ tech.dely.jp 本記事のタイトルは私がTwitter改めXにポストした投稿から抜粋しました（恥 おい、誰も騒いでないから騒ぐけどExternal Network AccessっていうSnowflakeから外部へ

G-gen の藤岡です。当記事では Atlantis を使って GitHub のプルリクエスト上で Terraform を実行する方法を紹介します。 当記事で扱うツール Terraform 概要 ローカルから実行する場合の注意点 自動化ツール Atlantis 概要 アーキテクチャ 構築方法 ロック機能と Web UI 構築にあたり アーキテクチャ 前提と注意点 事前準備 GitHub App の作成 Terraform ファイル Atlantis サーバーの構築 Terraform の実行 動作確認 サ

G-gen タナです。Google Cloud (旧称 GCP) の生成 AI チャットモデルである PaLM 2 の chat-bison モデルを使い、運用を考慮に入れたチャットツールを作成してみましたのでご紹介します。 はじめに 前提知識 Vertex AI PaLM API サンプルコード (Python) ステートフルとステートレス 運用化のポイント ポイント1: チャットボットをステートレスにする 課題 解決策 運用性の検証 応用 ポイント2: 回答スタイルを指定 概要 やり方 動作確認 トラ

Merpay & Mercoin Tech Fest 2023 は、事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りで、2023年8月22日（火）からの3日間、開催しました。セッションでは、事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介していきました。 この記事は、「 BigQueryのデータ監視の社内サービスを作った話 」の書き起こしです。 @hyrrot：株式会社メルペイ Data Management Team、Dat

Merpay & Mercoin Tech Fest 2023 は、事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りで、2023年8月22日（火）からの3日間、開催しました。セッションでは、事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介していきました。 この記事は、「 メルコイン決済マイクロサービスのトランザクション管理を支える技術 」の書き起こしです。 @susho：それでは「メルコイン決済マイクロサービスのトランザクショ

Merpay & Mercoin Tech Fest 2023 は、事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りで、2023年8月22日（火）からの3日間、開催しました。セッションでは、事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介していきました。 この記事は、「 メルカリのカスタマージャーニーにおける不正防止の取り組み 」の書き起こしです。 @codechaitu：みなさん、こんにちは。Merpay & Mer

G-gen の杉村です。BigQuery は通常の運用データベースと異なり、分析用データベースであることから、非正規化したテーブルを扱うことが多くなります。そのための独特のデータ型として、ARRAY (配列) と STRUCT (構造体) があります。これらについて解説します。 概要 ARRAY (配列) ARRAY とは サンプルテーブル SELECT SELECT 〜 WHERE SELECT 〜 CROSS JOIN SELECT (SELECT ~ UNNEST) CREATE TABLE / I

こんにちは、SREディビジョンの小林です。 この記事では Duet AI Assisted Operationsの各機能紹介と、検証結果について記載しております。 各機能は、以下の項目でまとめています。 機能概要 利用における条件 検証内容 類似製品、他製品との違い（Duet AI in Cloud Consoleのみ） 本機能のメリット どのようなユーザにフィットするか 実運用、開発に利用できるかの考察、使用感 ! 類似製品、他製品を利用する際には、言語を統一して利用しています。 Duet AI Ass

G-gen の藤岡です。当記事では Google Cloud（旧称 GCP）で「ドメイン別の ID の制限」の組織ポリシー適用下で Cloud Run サービスを一般公開する方法を紹介します。 前提知識 「ドメイン別の ID の制限」の組織ポリシー Cloud Run ２つのアクセス制御レイヤー サービスを一般公開する方法 注意点 タグがサポートされているサービス Config Controller は未対応 Cloud Run サービスの一般公開 アーキテクチャ 前提 権限 設定手順 組織管理者：「ドメ

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の疋田（ひきた）です。 珍しい苗字でなかなか覚えづらいと思いますので、是非「ヒッキー」と呼んでいただければ嬉しいです。　クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud (旧 Google Cloud Platfor

G-gen の佐々木です。当記事では Cloud Run で Cloud Storage FUSE を使用して、オブジェクトストレージである Cloud Storage のバケットをコンテナ内のディレクトリにマウントしてみます。 前提知識 Cloud Run とは Cloud Storage（GCS）とは Cloud Storage FUSE について Cloud Storage FUSE とは 制限事項 料金 ネイティブ機能によるマウント 考慮事項 Cloud Run 実行環境 マルチプロセス化による

はじめに こんにちは、クラウドエンジニアの査です。最近はGCP関連のインフラ、特にGKEやKafkaの構築、メンテナンスと監視周りの業務を担当しています。 本日は、以下の構成図のように、Kafkaから収集したメトリクスを利用して、KubernetesのHPAを制御し、アプリケーションのパフォーマンスを自動的に調整する方法を解説したいと思います。 Kubernetesを使用してコンテナ化されたアプリケーションをデプロイする際、アプリケーションの負荷やトラフィックの変動に柔軟に対応できることが重要です。そのた

こんにちは、SCSK 林です！ 今回は先日の Google Cloud Next ’23 にてプレビュー版の提供が発表された、Duet AI in Google Cloud を触ってみました。 Duet AI とは 2023年5月の Google I/O で発表された Duet AI は、Google の Generative AI 基盤モデルを搭載した、様々なユーザーに必要な支援を提供するAI コラボレーターです。 Duet AI は大きく2つにわけられ、今回の Google Cloud N