株式会社G-gen の技術ブログ
全477件
Dataplexを徹底解説！
2023/11/08
ブックマーク
G-gen の神谷です。本記事では、Google Cloud のスケーラブルでサーバレスなデータ管理ツールである Dataplex を徹底解説します。 Dataplex の概要 Dataplex とは メリット データメッシュとは 構成とオブジェクト Dataplex Discovery Dataplex Discovery とは Discovery Action アクセス制御 認証・認可 (IAM) IAM の基本的な理解 アセットと IAM プロジェクトをまたぐ権限管理 VPC Service Controls 属性ストア
LangChainでBigQueryデータを使ったグラウンディングを実装してみた
2023/11/07
ブックマーク
G-gen 又吉です。当記事では、Google Cloud の LLM (Vertex AI PaLM API) と LangChain を組み合わせて、自然言語から BigQuery 上の統計データを取得する方法を紹介します。 はじめに 準備 実行環境 使用するデータ 実装 ライブラリのインストール 関数の定義 概要 解説 実行 はじめに LangChain とは、大規模言語モデル (LLM) アプリケーションを効率よく実装するためのフレームワークです。
2023年10月のイチオシGoogle Cloudアップデート
2023/11/06
ブックマーク
G-gen の杉村です。2023年10月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Looker Studio と BigQuery のさらなる統合 (Private Preview) Cloud SQL で異エディション間でバックアップ→リストアが可能に Looker Studio Pro がユーザ単位で利用可能に BigQuery のリージョン間テーブルコピーが Private Preview 一部
Cloud Run jobsでジョブ構成をオーバーライドしてジョブを実行する
2023/11/06
ブックマーク
G-gen の佐々木です。当記事では Cloud Run jobs のジョブ実行時に利用できる、 ジョブ構成のオーバーライド について解説します。 Cloud Run jobs とは ジョブ構成のオーバーライド ジョブ構成のオーバーライドを試してみる 使用するコード（Go） Cloud Run ジョブのデプロイ デフォルトのジョブ構成でジョブを実行する ジョブ構成をオーバーライドしてジョブを実行する トラブル
Cloud RunからCloud SQLへの通信がCloud NATを経由してしまう事象とその解決策
2023/11/01
ブックマーク
G-gen の佐々木です。当記事では Cloud Run 上のアプリケーションで Cloud SQL Auth Proxy を使って Cloud SQL へ接続する際に接続が失敗した事象と、その対策について解説します。 はじめに 前提知識 各種サービスについて Cloud Run から Cloud NAT を使用するケース 事象 発生した事象 想定していた通信経路 実際の通信経路 原因 解決策 余談 はじめに Cloud Run 上のアプリケーションから
サーバーレスVPCアクセスコネクタで発生するメンテナンスとその注意点
2023/10/31
ブックマーク
G-gen の佐々木です。当記事では Cloud Run や Cloud Functions などで使用する サーバーレス VPC アクセス のコネクタインスタンスで発生するメンテナンスと、それに関する注意点を記載します。 はじめに 前提知識 サーバーレス VPC アクセスとは コネクタインスタンスのスケーリングについて コネクタインスタンスのメンテナンス メンテナンス時に何が起こるのか メンテナンス
BigQueryでGROUP BY CUBE等を使ってみる
2023/10/30
ブックマーク
G-gen の杉村です。BigQuery の特殊な GROUP BY 構文である GROUP BY GROUPING SETS GROUP BY CUBE GROUP BY ROLLUP について解説します。 はじめに GROUP BY GROUPING SETS GROUP BY CUBE GROUP BY ROLLUP はじめに BigQuery で以下の特殊な GROUP BY 構文が、2023年10月9日に Preview 公開、2024年2月26日に一般公開（GA）されました。 GROUP BY GROUPING SETS GROUP BY CUBE GROUP BY ROLLUP (以前からあったが groupable items sets を指定できる
Compute EngineでAtlantisサーバーを構築してTerraform実行を自動化する方法
2023/10/25
ブックマーク
G-gen の藤岡です。当記事では Atlantis を使って GitHub のプルリクエスト上で Terraform を実行する方法を紹介します。 当記事で扱うツール Terraform 概要 ローカルから実行する場合の注意点 自動化ツール Atlantis 概要 アーキテクチャ 構築方法 ロック機能と Web UI 構築にあたり アーキテクチャ 前提と注意点 事前準備 GitHub App の作成 Terraform ファイル Atlantis サーバーの構築 Terraform
生成AIでチャットボットを作るときの具体的なコツ (PaLM 2/chat-bison)
2023/10/24
ブックマーク
G-gen タナです。Google Cloud (旧称 GCP) の生成 AI チャットモデルである PaLM 2 の chat-bison モデルを使い、運用を考慮に入れたチャットツールを作成してみましたのでご紹介します。 はじめに 前提知識 Vertex AI PaLM API サンプルコード (Python) ステートフルとステートレス 運用化のポイント ポイント1: チャットボットをステートレスにする 課題 解決策 運用性の検証 応用 ポイント
BigQueryのARRAYとSTRUCTを理解して使いこなす
2023/10/23
ブックマーク
G-gen の杉村です。BigQuery は通常の RDBMS と異なり分析用データベースであることから、非正規化したテーブルを扱うことが多くなります。そのための独特のデータ型として、ARRAY (配列) と STRUCT (構造体) があります。これらについて解説します。 概要 ARRAY (配列) ARRAY とは サンプルテーブル SELECT SELECT 〜 WHERE SELECT 〜 CROSS JOIN SELECT (SELECT ~ UNNEST) CREATE TABLE / INSERT 制限 STRUCT (構
「ドメイン別のIDの制限」の組織ポリシー適用下でCloud Runを一般公開する方法
2023/10/18
ブックマーク
G-gen の藤岡です。当記事では Google Cloud（旧称 GCP）で「ドメイン別の ID の制限」の組織ポリシー適用下で Cloud Run サービスを一般公開する方法を紹介します。 前提知識 「ドメイン別の ID の制限」の組織ポリシー Cloud Run ２つのアクセス制御レイヤー サービスを一般公開する方法 注意点 タグがサポートされているサービス Config Controller は未対応 Cloud Run サービスの一般公
Cloud RunからCloud Storageをファイルシステムとしてマウントする
2023/10/17
ブックマーク
G-gen の佐々木です。当記事では Cloud Run で Cloud Storage FUSE を使用して、オブジェクトストレージである Cloud Storage のバケットをコンテナ内のディレクトリにマウントしてみます。 前提知識 Cloud Run とは Cloud Storage（GCS）とは Cloud Storage FUSE について Cloud Storage FUSE とは 制限事項 料金 ネイティブ機能によるマウント 考慮事項 Cloud Run 実行環境 マルチプロセス化による PID 1 問
BigQuery DataFramesを徹底解説
2023/10/16
ブックマーク
G-gen 又吉です。当記事では、Google Cloud Next '23 で発表された BigQuery DataFrames を解説します。BigQuery 上のデータを、pandas ライクな、また scikit-learn ライクなインターフェイスで操作できるライブラリです。 BigQuery DataFrames 概要 bigframes.pandas 概要 仕組み bigframes.ml 概要 自動前処理 概要 特徴の自動変換 欠損データの補完 制限事項 使ってみる やること 環境構築 初期設定 パッケ
【AppSheet初心者向け】業務改善アプリ作成のメリットと開発時のポイント
2023/10/12
ブックマーク
G-genの小林です。当記事では、備品発注アプリを例にして、AppSheet で アプリ作成のメリット と アプリ開発時のポイント を解説します。 備品発注を Excel から AppSheet に置き換えたら？ AppSheet でアプリ化するメリット 発注はスマートフォンからボタンポチポチ 自動で集計処理 フィルタリング簡単！アプリでの見せ方は自由自在 AppSheet アプリ開発の疑問4選 データソースは
Looker StudioでGA4データを可視化したらBigQuery課金がスパイクした件
2023/10/11
ブックマーク
G-gen のタナです。Google Cloud (旧称 GCP) で、BigQuery へエクスポートした Google Analytics 4 (GA4) のデータを Looker Studio レポートのデータソースとして使用した際に、BigQuery の料金がスパイク (想定以上に膨らむこと) してしまいました。同じ問題に直面した方のために、私の経験と解決策を共有します。 やりたかったこと 事象 原因 1. BigQuery のキャッシュが効かなかった 症状 仕様