G-gen の杉村です。BigQuery は通常の運用データベースと異なり、分析用データベースであることから、非正規化したテーブルを扱うことが多くなります。そのための独特のデータ型として、ARRAY (配列) と STRUCT (構造体) があります。これらについて解説します。 概要 ARRAY (配列) ARRAY とは サンプルテーブル SELECT SELECT 〜 WHERE SELECT 〜 CROSS JOIN SELECT (SELECT ~ UNNEST) CREATE TABLE / I

こんにちは、SREディビジョンの小林です。 この記事では Duet AI Assisted Operationsの各機能紹介と、検証結果について記載しております。 各機能は、以下の項目でまとめています。 機能概要 利用における条件 検証内容 類似製品、他製品との違い（Duet AI in Cloud Consoleのみ） 本機能のメリット どのようなユーザにフィットするか 実運用、開発に利用できるかの考察、使用感 ! 類似製品、他製品を利用する際には、言語を統一して利用しています。 Duet AI Ass

G-gen の藤岡です。当記事では Google Cloud（旧称 GCP）で「ドメイン別の ID の制限」の組織ポリシー適用下で Cloud Run サービスを一般公開する方法を紹介します。 前提知識 「ドメイン別の ID の制限」の組織ポリシー Cloud Run ２つのアクセス制御レイヤー サービスを一般公開する方法 注意点 タグがサポートされているサービス Config Controller は未対応 Cloud Run サービスの一般公開 アーキテクチャ 前提 権限 設定手順 組織管理者：「ドメ

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の疋田（ひきた）です。 珍しい苗字でなかなか覚えづらいと思いますので、是非「ヒッキー」と呼んでいただければ嬉しいです。　クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud (旧 Google Cloud Platfor

G-gen の佐々木です。当記事では Cloud Run で Cloud Storage FUSE を使用して、オブジェクトストレージである Cloud Storage のバケットをコンテナ内のディレクトリにマウントしてみます。 前提知識 Cloud Run とは Cloud Storage（GCS）とは Cloud Storage FUSE について Cloud Storage FUSE とは 制限事項 料金 ネイティブ機能によるマウント 考慮事項 Cloud Run 実行環境 マルチプロセス化による

はじめに こんにちは、クラウドエンジニアの査です。最近はGCP関連のインフラ、特にGKEやKafkaの構築、メンテナンスと監視周りの業務を担当しています。 本日は、以下の構成図のように、Kafkaから収集したメトリクスを利用して、KubernetesのHPAを制御し、アプリケーションのパフォーマンスを自動的に調整する方法を解説したいと思います。 Kubernetesを使用してコンテナ化されたアプリケーションをデプロイする際、アプリケーションの負荷やトラフィックの変動に柔軟に対応できることが重要です。そのた

こんにちは、SCSK 林です！ 今回は先日の Google Cloud Next ’23 にてプレビュー版の提供が発表された、Duet AI in Google Cloud を触ってみました。 Duet AI とは 2023年5月の Google I/O で発表された Duet AI は、Google の Generative AI 基盤モデルを搭載した、様々なユーザーに必要な支援を提供するAI コラボレーターです。 Duet AI は大きく2つにわけられ、今回の Google Cloud N

G-gen 又吉です。当記事では、Google Cloud Next '23 で発表された BigQuery DataFrames を解説します。BigQuery 上のデータを、pandas ライクな、また scikit-learn ライクなインターフェイスで操作できるライブラリです。 BigQuery DataFrames 概要 bigframes.pandas 概要 仕組み bigframes.ml 概要 自動前処理 概要 特徴の自動変換 欠損データの補完 制限事項 使ってみる やること 環境構築 初

G-genの小林です。当記事では、備品発注アプリを例にして、AppSheet で アプリ作成のメリット と アプリ開発時のポイント を解説します。 備品発注を Excel から AppSheet に置き換えたら？ AppSheet でアプリ化するメリット 発注はスマートフォンからボタンポチポチ 自動で集計処理 フィルタリング簡単！アプリでの見せ方は自由自在 AppSheet アプリ開発の疑問4選 データソースはどうすればいいの？ テーブルとは 型の設定 View (UX) はどうやって設定するの？ メニュ

G-gen のタナです。Google Cloud (旧称 GCP) で、BigQuery へエクスポートした Google Analytics 4 (GA4) のデータを Looker Studio レポートのデータソースとして使用した際に、BigQuery の料金がスパイク (想定以上に膨らむこと) してしまいました。同じ問題に直面した方のために、私の経験と解決策を共有します。 やりたかったこと 事象 原因 1. BigQuery のキャッシュが効かなかった 症状 仕様 原因 2. Looker Stu

G-gen の杉村です。Google Cloud (旧称 GCP) の BigQuery と BI ツールである Looker Studio のネイティブ統合機能である BigQuery native integration in Looker Studio が2023年10月2日に Private Preview (申込制) で公開されたため、その機能を活用して Looker Studio レポートごとの BigQuery 課金額を調査してみました。 はじめに やること 調査方法 留意事項 情報取得方法

はじめに こんにちは。クラウドエースの木村です。 本記事にてご紹介する内容は、Google Cloud のサービスである VPC ネットワークピアリングについてです。 私自身今まで使ったことがなかったので、簡単にサービスの概要と、実際に使ってみた様子をまとめてみました。 VPC ネットワークピアリングに触れたことがない方、どのようなサービスなのかを簡潔に知りたい方に向けた記事になっています。 VPC ネットワークピアリングとは Google Cloud VPC ネットワークピアリングは、2 つの Virt

はじめに こんにちは、クラウドエース データML ディビジョン所属の森です。 データML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、 新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介するリリースは、「Dataflow ストリーミングジョブでのストラグラー検知」についてです。 このリリースによって、今まで Dataflow バッチ

G-gen の西島です。Google Cloud (旧称 GCP) の Cloud Run jobs 上に構築したジョブから Compute Engine 上の MySQL サーバーへ、サーバーレス VPC アクセス経由でクエリを発行し、その結果を BigQuery にロードするジョブの検証を行ったので、その紹介です。 はじめに 構成 構成図 認証情報 ビルドとデプロイ ネットワーク ソースコード類の準備 Dockerfile requirements.txt credential.txt .gcloud

G-gen ビジネス推進部の北田です。本記事では2023年7月のアップデートに伴い、従来有償ライセンスだった AppSheet Core が Google Workspace のほぼ全てのエディションで利用できるようになった ことについて紹介します。 AppSheet とは？ 従来まで AppSheet のエディション Google Workspace のエディションと AppSheet 今回のアップデートでの変更点 AppSheet のプランの違い AppSheet とは？ AppSheetはノーコード