こんにちは！G-genの片岡です。本記事では Cloud Monitoring で利用可能な、機械学習を使った Forecast condition (予測条件) を実際に検証してみました。 はじめに Cloud Monitoring 振り返り Forecast condition とは 検証内容 VM のセットアップ アラート設定 設定する内容 条件設定 動作検証 ダミーファイルを定期生成 アラート確認 VM 確認 Incident metrics 確認 はじめに Cloud Monitoring 振り

G-gen の神谷です。本記事では、Looker Studio で BigQuery データソースを使う際のコスト最適化について説明します。 はじめに Looker Studio とは 料金体系 料金削減の基本方針 レポートごとの BigQuery コストを調べる Looker Studio レポート側の基本方針 BigQuery 側の方針 Looker Studio のキャッシュ機能 レポートのキャッシュ 抽出されたデータソース BigQuery のキャッシュ機能 クエリ結果のキャッシュ マテリアライズ

G-gen の藤岡です。当記事では、 Google Cloud（旧称 GCP）の Filestore を Compute Engine（以下 GCE）の Windows Server にマウントする方法を紹介します。 サービスの概要 Filestore とは ネットワーク サービスティア クライアントへの接続 実施内容 構成図 前提条件 構築 事前作業 プロジェクトの作成と請求先アカウントの紐づけ デフォルトプロジェクトのセット API の有効化 ネットワーク構築 VPC とサブネットの作成 ファイアウォ

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ&テクノロジーズ株式会社の舘山と申します。 本日は、Google Cloudの監査ログの長期保管とアクセス監査について、調査した内容を共有します。 参考資料として、Google Cloudのログ取得サービス、監査ログの全体像は下記のブログ、Google Cloudドキュメントにまとめられています。 G-genブログ Cloud Loggingの概念と仕組みをしっか

こんにちは。 クラウドエースの梅田です。 2022年10月に Cloud Build Security Insights という機能がプレビューとなりました。 本記事では、Supply-chain Levels for Software Artifacts (SLSA) に注目しながら Cloud Build Security Insights で何ができるのかを説明していきたいと思います。 Supply-chain Levels for Software Artifacts (SLSA) とは そもそも

こんにちは、MLデータ部データ基盤ブロックの奥山（ @pokoyakazan ）です。趣味の範疇ですが、「ぽこやかざん」という名前でラジオ投稿や大喜利の大会に出たり、「下町モルモット」というコンビで週末に漫才をしたりしています。私は普段、全社データ基盤の開発・運用を担当しており、このデータ基盤はGCPのBigQuery上に構築されています。そして、データ基盤内の各テーブルは、大きく分けて以下の2種類に分類されます。 システムDBのデータやログデータなどが、特に加工されることなく連携されている一次テーブル

G-gen の武井です。 当記事では Google Cloud (旧称 GCP) のリソース情報を gcloud コマンドと jq コマンドで 取得する方法を紹介します。 概要 gcloud コマンド jq コマンド 実行方法 コマンドツールの準備 使い方 失敗例 成功例 実例 組織 組織名 (ドメイン名) を抽出 組織 ID を抽出 条件に合致する値を抽出 フォルダ フォルダ名を抽出 フォルダ ID を抽出 条件に合致する値を抽出 プロジェクト プロジェクト名を抽出 プロジェクト ID を抽出 プロジェ

自己紹介 はじめまして、京都大学大学院エネルギー科学研究科に所属していますM1の下野祐太です。普段は、深層強化学習を利用し

G-gen の杉村です。Google Cloud（旧称 GCP）の VPC では、備え付きのファイアウォール機能である Cloud Next Generation Firewall （Cloud NGFW）が利用できます。そのうち ファイアウォールポリシー （Firewall policies）で利用可能な Cloud NGFW Standard の通信制御機能について解説します。 概要 Cloud NGFW Standard とは 利用可能な制御機能 ルールの適用 料金 FQDN オブジェクト 概要 ユ

こんにちは、タイミーのデータ統括部でデータサイエンティストをしている小関です。 タイミーのデータサイエンスチームでは、データ分析、機械学習モデル構築に加えて、Google Cloudを主軸としたMLOps基盤の構築などの業務に日々取り組んでいます。 その中でもGoogle Cloudを主軸としたMLOps基盤の構築に関連して、 Google Cloud Professional Machine Learning Engineer認定資格 を社内制度も活用しながら取得したので、実際にした勉強の内容などを紹介

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) でマネージドな Kubernetes クラスタを使用することができる Google Kubernetes Engine (GKE) を解説します。Amazon Elastic Kubernetes Service (EKS) や Azure Kubernetes Service (AKS)など、kuben

G-gen の藤岡です。当記事では、 Google Cloud（旧称 GCP）の予算アラートの設定方法を紹介します。 概要 設定 1. 通知チャンネルの準備 ①メールアドレスの場合 ②Slack の場合 2. 通知チャンネルの設定 必要な権限と設定画面 3. 予算とアラートの設定 確認 概要 予算アラートを設定することで、指定した期間の中で請求額がしきい値を超えた場合に、メールを使って通知することができます。通知を設定しておけば、予期しない請求に早めに気が付くことができます。 また Slack のメールイ

G-gen の杉村です。当記事では Google Cloud (旧称 GCP) のサービスである Managed Service for Microsoft Active Directory (マネージド Microsoft AD) をご紹介したいと思います。 概要 Managed Microsoft AD とは 制限事項 料金 ユースケース Managed Microsoft AD のユースケース 既存ドメインからの移行 前提 Active Directory Migration Toolkit (AD

G-gen の神谷です。本記事では、Batch を使って、大容量の CSV ファイルを BigQuery に ETL してみます。 Cloud Functions や Cloud Run といった類似サービスに比べて Batch の使いどころはどこかを検証します。 基本的な情報 Batch とは Batch の利点 ユースケース 料金 類似プロダクトとの比較 検証要件と設計 要件 設計ポイント 実装方式 実装 ディレクトリ構成 main 処理 コンテナ作成 Batch の設定 ジョブの実行 性能検証と結果

G-genの佐伯です。当記事では、Vertex AIのAutoML及びバッチ予測の基本的な操作方法を解説しながら、簡易的で且つ安価に予測データを収集できる手法を解説できればと考えます。前編では、Vertex AIのAutoML及びバッチ予測の基本的な操作方法を解説させていただきます。 Vertex AI AutoML とは 当記事で行う検証作業 検証作業内容 今回のトレーニングデータについて データの前処理 作業の主な流れ 対象となるデータをデータセットに登録する データセットを指定してAutoMLの学習