パブリッククラウドでよくマネージドで提供されているサービスのうち、活用が大きなアドバンテージになると感じるものに、リアルタイムの逐次データ処理、streaming data 処理があります。これを実現するために、OSS はじめ多くのベンダーからもさまざまなものが提供されていますが、GCP で streaming data 処理といえばやっぱり Dataflow です。(独断と偏見) Streaming data 処理とは 単に streaming data 処理というとさまざまな単位や仕組みのものがありま

G-genの杉村です。Google Cloud (旧称 GCP) のジョブ自動化サービスである Cloud Workflows （または単に Workflows）を解説します。 概要 Cloud Workflows とは ユースケース 料金 課金の仕組み 内部ステップと外部ステップ ワークフロー定義 定義の基本 ランタイム引数 サービス呼び出し エラー処理 待機 コールバック スリープ ワークフローの実行 実行契機 (トリガ) Cloud Scheduler による定期実行 イベントドリブン実行 Even

G-gen の武井です。 当記事は gcloud と jq コマンドシリーズの第2弾として、Google Cloud (旧称 GCP) の IAM に関する情報の取得方法についてご紹介します。 組織 / フォルダ / プロジェクト 編の記事 組織の IAM Policy IAM ポリシーの表示 プリンシパルの抽出 jq コマンドの利用 重複値の除外 ( unique 構文 ) 特定のプリンシパルに紐づくロールの抽出 特定のロールに紐づくプリンシパルの抽出 フォルダの IAM Policy プロジェクトの

こんにちは！会員システムグループの渡邊です。普段はニフティトップページの運用を担当しています。 今回はGoogle Apps Script（GAS）を使い、コストをかけずにサイト表示速度の見える化を行う方法を紹介します。 なぜ見える化を行おうと思ったか Googleが2020年にWebサイトのパフォーマンスを評価するための指標であるCore Web Vitals（CWV）を導入しました。 この指標には、Webサイトのパフォーマンス改善に非常に役立つ内容が含まれています。 CWVの指標はUX改善に直結するた

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ＆テクノロジーズ株式会社の高瀬です。 Google Cloud（旧GCP）上に HashiCorp 社の Vault Enterprise クラスタを構築したので流れをまとめました。 未経験の状態で構築しましたので、つまずきポイントも併記しています。 当ブログは G-gen × みずほRT によるコラボ記事です はじめに Vault (HashiCorp) とは 構築のお

G-gen 又吉です。今回は Vertex AI Workbench を用いて JupyterLab の開発環境から BigQuery ML を実行し機械学習モデル(クラスタリング)を作成していきたいと思います。 概要 概要 今回使用するデータ K-means 法とは 準備 Vertex AI Workbench の作成 BigQuery データセットとテーブルの作成 JupyterLab 起動 実行 データの確認 ハイパーパラメータチューニング ハイパーパラメータチューニング機能の確認 モデルの作成 概

G-gen の藤岡です。当記事では、Google Cloud（旧称 GCP）の Compute Engine（以下 GCE）のインスタンス名の重複について、2 種類の内部 DNS タイプの観点から深堀していきます。 はじめに インスタンス名の重複 検証結果 サービスの概要 メタデータサーバー GCE と内部 DNS 内部 DNS 内部 DNS タイプ 設定方法 確認方法 検証 前提条件 例外 作成コマンド 作成順序 結果 まとめ はじめに インスタンス名の重複 コンソールや gcloud コマンドで GC

G-gen の佐々木です。当記事では Google Cloud ( 旧称 GCP ) の Google Kubernetes Engine ( GKE ) で作成した Ingress に対して、 Cloud Armor セキュリティポリシー を構成することで、ワークロードに対するアクセス元 IP アドレス制限を実装します。 前提知識 Google Kubernetes Engine とは Ingress とは Cloud Armor とは GKE クラスタの準備 GKE クラスタにサンプルアプリケーション

こんにちは！G-genで営業をしている遠目塚です。当記事では、Google Cloud (旧称 GCP) のノーコードツールである Google AppSheet (以下AppSheet) を Google Sheets (以下Sheets) から簡単に作成する方法をご紹介します。 AppSheetの概要 AppSheetの始め方 アプリ化したい業務を考えてみよう こんな業務ありませんか？ アプリをつくってみよう Sheetsに紙で入力している項目を洗い出してみよう 入力の簡素化についても考えてみる Sh

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 当社では業務系システムを開発する機会が多く、定期的に実行する処理が多くあります。慣れ親しんだCron式でジョブの実行定義ができる Cloud Scheduler は利用機会も多く、優先的に仕様を調査することにしました。 G-gen の佐々木です。当記事では Google Cloud (旧称 GCP) のフルマネージドの cron ジョブスケジューラである Cloud Scheduler

はじめに こんにちは。ブランドソリューション開発本部FAANSバックエンドブロックの田村です。普段はサーバサイドエンジニアとしてFAANSのバックエンドシステムの開発をしています。 FAANSとは、弊社が2022年8月に正式ローンチした、アパレル店舗のショップスタッフの販売サポートツールです。FAANSでは、データベースとしてGCPのサーバレスでドキュメント指向のNoSQLデータベースである Cloud Firestore を当初採用していました。Cloud Firestoreはサーバレスなので運用負荷が

こんにちは。 株式会社ココナラのインフラ・SREチーム所属の かず と申します。 本記事では2023年2月1日に同所属のよしたくと修了した G.I.G. プログラム に関して紹介させていただきます。 G.I.G. プログラム　について 本プログラムは Google Cloud（旧 GCP）のプロダクトやサービスを幅広く学べる招待制特別プログラムです。 プログラム実施期間は約3ヶ月で、短期間に技術を習得できる、素晴らしいプログラムになっております。 受講中は以下のことができるようになります！ Courser

G-gen 又吉です。今回は BigQuery に備わる機械学習機能である BigQuery ML で、2 項ロジスティック回帰を用いた分類モデルを作成してみました。 BigQuery ML とは サポートされているモデル 今回使用するデータ 準備 各種ファイルのアップロード データセットの作成 テーブルの作成 テーブルにデータをロード データの確認 モデルの作成 データの前処理を行います。 モデル構築 予測 評価 BigQuery ML とは BigQuery ML とは、BigQuery 上で機械学習

G-gen の荒井です。今回はコスト削減にも繋がる、Compute Engine VM の自動起動・停止のスケジューリングについて紹介します。 概要 VM の起動・停止のスケジューリング メリット スナップショットへの影響 シャットダウン時の動作 制限事項 設定方法 Compute Engine サービスエージェントへの権限付与 スケジュール作成 スケジュールの編集 スケジュールへ VM をアタッチ 新規 VM 作成時にスケジュールをアタッチ インスタンスのデタッチ スケジュールの削除 ログの確認 参考リ

G-gen の佐々木です。当記事では Google Cloud ( 旧称 GCP ) の Google Kubernetes Engine ( GKE ) で Ingress を使用し、 Google マネージド SSL 証明書が構成された HTTPS ロードバランサ を Kubernetes のリソースとして作成していきます。 前提知識 Google Kubernetes Engine とは Ingress とは GKE クラスタの準備 GKE クラスタにサンプルアプリケーションをデプロイする 証明書を