株式会社G-gen の技術ブログ
全477件
Eventarcトリガーを利用してCloud StorageのファイルメタデータをBigQueryへ格納してみた
2022/09/05
ブックマーク
G-gen 又吉です。今回は Eventarcトリガーを利用して、Cloud Storage のファイルメタデータを BigQuery へ格納してみました。 概要 作成するもの Eventarcとは？ Cloud Strage の準備 Cloud Storage トリガーとは Cloud Storage サービス アカウントへの権限付与 ファイルアップロード用のバケットの作成 BigQuery のテーブル作成 Cloud Functions の作成 Cloud Functions の作成 main.py の内容 requirements.txt の内
Google Cloud の「手動インポート機能」でサーバー移行してみた
2022/09/02
ブックマーク
G-gen の國﨑です。Google Cloud (旧称 GCP) の仮想サーバーサービスである Compute Engine へサーバーを移行する方法はいくつかあります。今回はその手法の一つである 手動インポート 機能を実際に使ってみました。 手動インポートとは？ 前提条件 移行元環境イメージ化 カスタムイメージ の作成 カスタムイメージからVMを構築 手動インポートとは？ Google Cloud の Compute Engine へサ
Cloud Build を使ってCI/CDパイプラインを構築してみた
2022/09/01
ブックマーク
G-gen エンジニアの又吉です。今回は、Google Cloud のビルドサービスであるCloud Build を使って、Cloud Functions のCD/CDパイプラインを構築してみました。 Cloud Build を用いた Cloud Functions のCI/CDパイプライン Cloud Build の概要 Cloud Build とは 実行方法 ライフサイクル 2つの利用パターン 料金 作成するもの Cloud Functions の作成 Cloud Build の作成 ビルドトリガーの作成 Github リポジトリを変
Cloud Monitoringの静観設定(Snooze)を使ってみた
2022/08/31
ブックマーク
こんにちは！G-genの片岡です。本記事では、Cloud Monitoring で利用可能な監視の静観設定(Snooze)について見ていきます。 ノイズアラートをどう抑止するか、頭を悩ませていた日々から開放される日も近そうですね！ Cloud Monitoring 振り返り モニタリング Ops エージェント Ops エージェントのセットアップ アラート設定 1．CPU utilization 2．Memory utilization 3．稼働時間チェック 動作確
Professional Cloud Database Engineer試験対策マニュアル
2022/08/30
ブックマーク
G-genの杉村です。Google Cloud (旧称 GCP) の認定資格である Professional Cloud Database Engineer 資格の試験対策に有用な情報を記載します。 基本的な情報 Professional Cloud Database Engineer とは 難易度 出題傾向 試験対策 Cloud SQL 基本的な知識 接続と認証・認可 高可用性（HA） 高可用性構成（HA 構成）とは フェイルオーバー HA 構成への変更 リードレプリカ リードレプリカとは 非同期レプ
Looker のデータガバナンス機能を解説
2022/08/29
ブックマーク
G-genの開原です。当記事では、Looker のデータガバナンス機能について解説します。 データガバナンスとは？ Looker の運用フロー Lookerのガバナンス機能 LookML による指標・集計ロジックの集中管理 分析結果を活用するためのアクション機能 セキュリティーを強化する権限管理 システムアクティビティ機能 データガバナンスと BI ツール データガバナンスとは？ ガバナンス
Eventarc + Cloud Run で Google Cloud リソースの作成を Slack 通知する
2022/08/25
ブックマーク
G-gen の佐々木です。当記事では Google Cloud (旧称: GCP ) の Eventarc と Cloud Run を使用して、Google Cloud 上でリソースが作成されたことを通知する処理を、サーバーレスで実装していきます。 Eventarc とは？ Eventarc で利用できるイベントソース Eventarc で利用できるイベントコンシューマ Cloud Run とは？ 作成するもの Eventarc に必要なサービスアカウントの作成 Cloud Run サービスの作
AutoML(Vertex AI)でおもちゃの画像分類をやってみた
2022/08/23
ブックマーク
G-genの片岩です。当記事では AutoML を利用して、実際におもちゃの画像分類をしてみた事例をご紹介します。 画像分類とは 画像データの確保 画像データの前処理 Vertex AI のデータセット作成 トレーニング トレーニング結果確認 予測 画像分類とは 画像分類とは、ある画像を見たときに、その画像のラベルを予測することです。さまざまな分野で応用されていますが、たと
Cloud IAMの権限不足エラーへの対処方法 (403 Permission 〜 denied)
2022/08/22
ブックマーク
G-gen の武井です。 Google Cloud (旧称 GCP) の Cloud IAM (Identity and Access Management) にて、権限不足に伴うエラーが発生した場合の対処方法について説明したいと思います。 Cloud IAM 簡単なおさらい 用語 図説 IAM ロール 事象 対処方法 原因と対処法の確認 最適な IAM ロールの選択 IAM permissions reference Understanding roles IAM ロールの付与 簡単なおさらい 本題の説明に入る前に、まずは基本
Vertex AI AutoML で作成した機械学習モデルを Cloud Run にデプロイする
2022/08/19
ブックマーク
G-gen の佐々木です。当記事では Google Cloud（旧称 GCP）の機械学習サービスである Vertex AI の AutoML で作成した機械学習モデルを、サーバーレスなコンテナ実行基盤である Cloud Run にデプロイしていきます。 Vertex AI および Cloud Run とは？ Vertex AI で作成したモデルのデプロイについて 当記事で Cloud Run にデプロイするモデル Vertex AI Model Registry からモデルをエクスポートする ロ
Cloud SQLを徹底解説！
2022/08/17
ブックマーク
G-gen の杉村です。 Google Cloud (旧称 GCP) のマネージドの RDBMS サービスである Cloud SQL について徹底的に解説します。 Cloud SQL とは 料金 Cloud SQL の料金 確約利用割引 Extended Support（延長サポート） Cloud SQL editions Cloud SQL editions とは Enterprise と Enterprise Plus の違い データキャッシュ 料金の違い Enterprise Plus への移行 Cloud SQL Studio Cloud SQL Studio とは Gemini in Database インスタンス イン
Vertex AI を徹底解説！
2022/08/09
ブックマーク
G-gen の佐々木です。当記事では Google Cloud (旧称 GCP) の統合された機械学習プラットフォームである Vertex AI を解説します。 Vertex AI とは AutoMLとは Vertex AI における AutoML AutoML を使用したモデル作成 AutoML によるトレーニングの料金 カスタムトレーニング カスタムトレーニングを使用したモデル作成 カスタムトレーニングの料金 トレーニング方法の選択 モデル作成、予測に
BigQueryのテーブル識別子で構文エラー(テーブル名はバッククォートで囲むべきか)
2022/08/01
ブックマーク
事象 原因 解説 SQL における BigQuery のテーブル名の指定 バッククォートの要否 対策 対症療法 原則 事象 BigQuery で 標準 SQL を実行しようとした際に以下のエラーが発生した。 エラーメッセージで示された該当箇所は、テーブル名の指定であり、一見しておかしなところは見当たらない。 実行しようとした SQL INSERT my-project.mydataset.mytable (id, name, subject, score) VALUES ( " 1111 &q
Cloud Runを徹底解説！
2022/07/25
ブックマーク
G-gen の佐々木です。当記事では Google Cloud (旧称 GCP) のサーバーレスなコンテナサービスである Cloud Run を解説します。 Cloud Run とは Cloud Run の基本 2 つの利用方法 Cloud Run サービス (services) Cloud Run ジョブ (jobs) 動的スケーリング サービスの冗長性 デプロイ デプロイ元のコンテナイメージ コンテナの要件 トラフィック移行とロールバック 構成 エンドポイント URL コンテナイ
仮想ディスク・仮想アプライアンスの自動インポート機能を解説
2022/07/21
ブックマーク
G-genの片岩です。 当記事ではオンプレミスの仮想マシンやディスクを Google Cloud のイメージとしてインポート する方法について解説します。 自動インポートとは 料金 前提条件 移行元ファイル形式 移行対象 OS 制限事項 作業プロセス 1. 権限付与 2. 事前チェックツール 3. Cloud Storage へのアップロード 4. イメージ作成 (インポート) OVF ファイルなし OVF ファイルあり 5. イメ