「Google Cloud Platform」に関連する技術ブログ
企業やコミュニティが発信する「Google Cloud Platform」に関連する技術ブログの一覧です。
全670件中 91 - 105件目
Looker StudioでGA4データを可視化したらBigQuery課金がスパイクした件
2023/10/11
ブックマーク
G-gen のタナです。Google Cloud (旧称 GCP) で、BigQuery へエクスポートした Google Analytics 4 (GA4) のデータを Looker Studio レポートのデータソースとして使用した際に、BigQuery の料金がスパイク (想定以上に膨らむこと) してしまいました。同じ問題に直面した方のために、私の経験と解決策を共有します。 やりたかったこと 事象 原因 1. BigQuery のキャッシュが効かなかった 症状 仕様
Looker StudioレポートごとのBigQueryクエリ課金額を調べる方法
2023/10/10
ブックマーク
G-gen の杉村です。Google Cloud (旧称 GCP) の BigQuery と BI ツールである Looker Studio のネイティブ統合機能である BigQuery native integration in Looker Studio が2023年10月2日に Private Preview (申込制) で公開されたため、その機能を活用して Looker Studio レポートごとの BigQuery 課金額を調査してみました。 はじめに やること 調査方法 留意事項 情報取得方法を理解する INFORMATION_SCHEMA.JOBS の構造
サーバーレスVPCアクセス経由でMySQLサーバーからBigQueryにデータ転送してみた話
2023/10/03
ブックマーク
G-gen の西島です。Google Cloud (旧称 GCP) の Cloud Run jobs 上に構築したジョブから Compute Engine 上の MySQL サーバーへ、サーバーレス VPC アクセス経由でクエリを発行し、その結果を BigQuery にロードするジョブの検証を行ったので、その紹介です。 はじめに 構成 構成図 認証情報 ビルドとデプロイ ネットワーク ソースコード類の準備 Dockerfile requirements.txt credential.txt .gcloudignore main
主要Google WorkspaceエディションでAppSheet Coreが使えるように！
2023/10/02
ブックマーク
G-gen ビジネス推進部の北田です。本記事では2023年7月のアップデートに伴い、従来有償ライセンスだった AppSheet Core が Google Workspace のほぼ全てのエディションで利用できるようになった ことについて紹介します。 AppSheet とは？ 従来まで AppSheet のエディション Google Workspace のエディションと AppSheet 今回のアップデートでの変更点 AppSheet のプランの違い 最後に AppSheet とは
AWSの既存環境をTerraformでコード化してみた
2023/09/29
ブックマーク
はじめに こんにちは、 ラク スでインフラを担当しているftkenjです。 弊社ではサービスの製品サイトを AWS で運用していますが、リソースの追加・変更が発生するたびにコンソールにログインをして画面をポチポチして行っています。 オンプレよりは楽ですが、 クラウド サービスの利点を生かし切れていませんでした。 そこでサービスでも利用してるTerrafo
LangChainについて解説。大規模言語モデル(LLM)を効率よく実装するためのフレームワーク
2023/09/29
ブックマーク
G-gen 又吉です。LangChain とは、大規模言語モデル (LLM) を効率よく実装するために使用するフレームワークです。 当記事では LangChain を用いて、Google Cloud (旧称 : GCP) の LLM である PaLM 2 を操作する基本的な方法をご紹介します。 はじめに Vertex AI PaLM API LLM 開発の課題 学習コスト 入力トークン制限 事実と異なる回答 最新情報に対応していない 準備 環境構築 ライブラリの準
Dataflowを徹底解説！
2023/09/28
ブックマーク
G-gen の佐々木です。当記事では、Google Cloud（旧称 GCP）のマネージド ETL サービスである Dataflow を解説します。 概要 Dataflow とは Apache Beam とは ユースケース Dataflow のユースケース 例1 : リアルタイムのデータ取り込み 例2 : データストア間のデータ移行 開発 SDK パイプライン構成 Python SDK で記述したパイプラインの例 Dataflow テンプレート 構成要素 Dataflow ワーカー リージョ
プルリクエストをトリガとするCloud Runのプレビュー環境自動デプロイを実装してみた
2023/09/27
ブックマーク
G-gen の藤岡です。当記事では Google Cloud（旧称 GCP）で Cloud Run の タグ付きリビジョン （tagged revision）機能を使い、GitHub のプルリクエストをトリガとしたプレビュー環境の自動デプロイを実装する方法を紹介します。 概要 前提知識 Cloud Run のタグ付きリビジョン GitHub Actions と Workload Identity 連携 アーキテクチャ 事前準備 前提 ディレクトリ構成 GitHub Actions のワークフロー
BigQueryのオンデマンドクエリの利用量にフタをする (上限を設ける)
2023/09/26
ブックマーク
G-gen の杉村です。BigQuery のオンデマンドクエリの利用量にフタをする、つまりスキャンデータ量に上限を設けて突発課金を防止する工夫について紹介します。 はじめに 割り当て (Quota) の設定 Query usage per day 設定手順 割り当て画面へ遷移 対象の割り当てをフィルタ 編集ボタンをクリック 割り当てを設定 新しい割り当ての確認 動作確認 クエリのサイズ上限設定 クエリ単
AppSheetでGoogle Driveの共有ドライブを利用しようとしてハマった件
2023/09/25
ブックマーク
G-gen の鈴木です。約1年ぶりに記事を書きます。当記事では、AppSheet を利用する際に Google Drive の共有ドライブを利用する場合の注意点を紹介します。コミュニティ等でも同じような会話が行われており、解決してないケースも多いため、解説いたします。 環境説明および事前設定 環境説明 事前設定 アプリケーションの作成 スプレッドシートよりアプリケーションを作成
mercari.go #23 を開催しました #mercarigo
2023/09/22
ブックマーク
はじめに こんにちは、mercari.goスタッフの shota sugiura です。 9月7日にメルカリ主催のGo勉強会 mercari.go #23 をYouTubeでのオンライン配信にて開催しました。この記事では、当日の勉強会の活動内容をレポートします。動画も公開されていますので、こちらもぜひご覧ください！ mercari.go #23では、株式会社ナレッジワークより @tenntenn さん、株式会社カウシェより @yuki.ito さん、
Cloud Functionsの裏側の動きを深掘りしてみた
2023/09/21
ブックマーク
G-gen の藤岡です。当記事では、Google Cloud（旧称 GCP）の Cloud Functions（第 2 世代）で関数をデプロイする時の裏側の動きを Cloud Logging から深掘りしていきます。Cloud Functions は裏側を意識せずに使えるサービスではありますが、各サービスとの関係を理解しておくとエラー時に役立ちます。 前提知識 Cloud Functions サービスアカウントとサービスエージェント ユーザー管理サー
Cloud Functionsを使用してCompute Engineのマシンイメージを自動で削除する
2023/09/21
ブックマーク
G-gen の藤岡です。当記事では、 Google Cloud（旧称 GCP）で定期的に取得した Compute Engine のマシンイメージを自動で古いイメージから削除する方法を紹介します。 はじめに 構成図 Pub/Subトリガーの Cloud Functions を作成 Cloud Scheduler ジョブの設定 考慮事項 アーキテクチャ例 はじめに 以下の記事では Compute Engine API のクライアントライブラリ を使うことで、マシンイメージの取
Compute EngineでActive Directoryを構成する際の留意点
2023/09/20
ブックマーク
G-gen の杉村です。Google Cloud (旧称 GCP) の Compute Engine で動作する Windows Server 2022 で Active Directory ドメインコントローラを構成する方法と、そのドメインコントローラに Windows Server を参加させる方法について整理したので、注意点を解説します。 概要 オンプレミスとの差異 デフォルトではローカル Administrator が無効 IP アドレスが原則的に自動取得 ドメインコントローラ構
Cloud Data FusionをIaCで構築し、データパイプラインのマイグレーションを行いました
2023/09/20
ブックマーク
はじめまして。CADDiでバックエンドエンジニアとして働いている中野です。 この記事では、Cloud Data Fusionを利用して作成したデータパイプラインについてご紹介します。 TL;DR Salesforce とBigQuery間のデータ連携にHeroku Connectをこれまで利用していたのですが、Cloud Data Fusionに乗り換えることでダウンタイムなしで約1/8までコストダウンができました。 モチベーション 弊社では