「Google Cloud」に関連する技術ブログ
企業やコミュニティが発信する「Google Cloud」に関連する技術ブログの一覧です。
全1054件中 436 - 450件目
Dataflowを徹底解説！
2023/09/28
ブックマーク
G-gen の佐々木です。当記事では、Google Cloud（旧称 GCP）のマネージド ETL サービスである Dataflow を解説します。 概要 Dataflow とは Apache Beam とは ユースケース Dataflow のユースケース 例1 : リアルタイムのデータ取り込み 例2 : データストア間のデータ移行 開発 SDK パイプライン構成 Python SDK で記述したパイプラインの例 Dataflow テンプレート 構成要素 Dataflow ワーカー リージョ
プルリクエストをトリガとするCloud Runのプレビュー環境自動デプロイを実装してみた
2023/09/27
ブックマーク
G-gen の藤岡です。当記事では Google Cloud（旧称 GCP）で Cloud Run の タグ付きリビジョン （tagged revision）機能を使い、GitHub のプルリクエストをトリガとしたプレビュー環境の自動デプロイを実装する方法を紹介します。 概要 前提知識 Cloud Run のタグ付きリビジョン GitHub Actions と Workload Identity 連携 アーキテクチャ 事前準備 前提 ディレクトリ構成 GitHub Actions のワークフロー
BigQueryのオンデマンドクエリの利用量にフタをする (上限を設ける)
2023/09/26
ブックマーク
G-gen の杉村です。BigQuery のオンデマンドクエリの利用量にフタをする、つまりスキャンデータ量に上限を設けて突発課金を防止する工夫について紹介します。 はじめに 割り当て (Quota) の設定 Query usage per day 設定手順 割り当て画面へ遷移 対象の割り当てをフィルタ 編集ボタンをクリック 割り当てを設定 新しい割り当ての確認 動作確認 クエリのサイズ上限設定 クエリ単
Dataflow の費用モニタリングが一般提供(GA)になりました
2023/09/25
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の篠田です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・
AppSheetでGoogle Driveの共有ドライブを利用しようとしてハマった件
2023/09/25
ブックマーク
G-gen の鈴木です。約1年ぶりに記事を書きます。当記事では、AppSheet を利用する際に Google Drive の共有ドライブを利用する場合の注意点を紹介します。コミュニティ等でも同じような会話が行われており、解決してないケースも多いため、解説いたします。 環境説明および事前設定 環境説明 事前設定 アプリケーションの作成 スプレッドシートよりアプリケーションを作成
mercari.go #23 を開催しました #mercarigo
2023/09/22
ブックマーク
はじめに こんにちは、mercari.goスタッフの shota sugiura です。 9月7日にメルカリ主催のGo勉強会 mercari.go #23 をYouTubeでのオンライン配信にて開催しました。この記事では、当日の勉強会の活動内容をレポートします。動画も公開されていますので、こちらもぜひご覧ください！ mercari.go #23では、株式会社ナレッジワークより @tenntenn さん、株式会社カウシェより @yuki.ito さん、
Cloud Functionsの裏側の動きを深掘りしてみた
2023/09/21
ブックマーク
G-gen の藤岡です。当記事では、Google Cloud（旧称 GCP）の Cloud Functions（第 2 世代）で関数をデプロイする時の裏側の動きを Cloud Logging から深掘りしていきます。Cloud Functions は裏側を意識せずに使えるサービスではありますが、各サービスとの関係を理解しておくとエラー時に役立ちます。 前提知識 Cloud Functions サービスアカウントとサービスエージェント ユーザー管理サー
Cloud Functionsを使用してCompute Engineのマシンイメージを自動で削除する
2023/09/21
ブックマーク
G-gen の藤岡です。当記事では、 Google Cloud（旧称 GCP）で定期的に取得した Compute Engine のマシンイメージを自動で古いイメージから削除する方法を紹介します。 はじめに 構成図 Pub/Subトリガーの Cloud Functions を作成 Cloud Scheduler ジョブの設定 考慮事項 アーキテクチャ例 はじめに 以下の記事では Compute Engine API のクライアントライブラリ を使うことで、マシンイメージの取
Compute EngineでActive Directoryを構成する際の留意点
2023/09/20
ブックマーク
G-gen の杉村です。Google Cloud (旧称 GCP) の Compute Engine で動作する Windows Server 2022 で Active Directory ドメインコントローラを構成する方法と、そのドメインコントローラに Windows Server を参加させる方法について整理したので、注意点を解説します。 概要 オンプレミスとの差異 デフォルトではローカル Administrator が無効 IP アドレスが原則的に自動取得 ドメインコントローラ構
Cloud Data FusionをIaCで構築し、データパイプラインのマイグレーションを行いました
2023/09/20
ブックマーク
はじめまして。CADDiでバックエンドエンジニアとして働いている中野です。 この記事では、Cloud Data Fusionを利用して作成したデータパイプラインについてご紹介します。 TL;DR Salesforce とBigQuery間のデータ連携にHeroku Connectをこれまで利用していたのですが、Cloud Data Fusionに乗り換えることでダウンタイムなしで約1/8までコストダウンができました。 モチベーション 弊社では
削除済みのユーザーが主催者の予定をGoogleカレンダーから削除する方法
2023/09/20
ブックマーク
G-gen の藤岡です。当記事では、Google Workspace で削除済みのユーザーが主催者の予定を Google カレンダーから削除する方法を紹介します。 はじめに ユーザーの削除 Google カレンダーの予定 削除済みユーザーが主催者の予定を削除する手順 前提 ID の取得 予定の削除 トラブルシューティング はじめに ユーザーの削除 組織で Google Workspace を利用している場合、退職者が出ると
クロスリージョン内部アプリケーションロードバランサを試してみた
2023/09/19
ブックマーク
G-gen の藤岡です。当記事では、Google Cloud（旧称 GCP）の 2023 年 8 月にリリース された Cloud Load Balancing のクロスリージョン内部アプリケーションロードバランサを紹介します。 はじめに Cloud Load Balancing とは 内部アプリケーションロードバランサとは アーキテクチャ 実施内容 構成図 前提 構築 事前準備 プロジェクトの作成と請求先アカウントの紐づけ デフォルトプロジェ
Google Cloud Next '23 参加レポート 〜Google本社にも行ったよ！〜
2023/09/14
ブックマーク
こんにちは、MA部MA開発1ブロックの齋藤（ @kyoppii13 ）です。 8/29-8/31に開催された Google Cloud Next '23 へ参加してきました。今年は4年ぶりとなるオフライン開催で、アメリカ・サンフランシスコで開催されました。弊社からはMA部の齋藤・松岡・中原の3名が参加しました。 今年は生成AIにフォーカスした内容がとても多く、それに関連する新サービスの発表も多くありました
Google Cloudの生成AI(PaLM2)で社内LLM Webアプリを爆速で作ってみた
2023/09/13
ブックマーク
G-gen 又吉です。Google Cloud (旧称 GCP) の生成 AI (Generative AI) である PaLM 2 を用いて、Cloud Run 上に社内 LLM Web アプリを構築してみました。 はじめに 前提知識 Vertex AI PaLM API Gradio Cloud Runサービスへのアクセス制御 準備 ディレクトリ構成 app.py requirements.txt Dockerfile デプロイ 動作検証 はじめに 今回は、Google Cloud の生成 AI である Vertex AI PaLM API を用いて、社内向け LLM Web アプリを C
Vertex AI Agent Builderを徹底解説！
2023/09/12
ブックマーク
G-gen の杉村です。当記事では Google の生成 AI 技術利用してチャットボットエージェントや検索エンジンを簡単に作成できる Vertex AI Agent Builder を解説します。 概要 Vertex AI Agent Builder とは 名称の変遷 ユースケース 社内検索エンジン 顧客対応補助 RAG の実現 料金 Vertex AI Agents Vertex AI Agents とは 2種類のエージェント 対応言語 Tools とコード実行（Code Interpreter） デプロイ Vertex