はじめに みなさんこんにちは！クラウドエースの中嶋です。 今回は、Google Cloud のセキュリティ診断の強い味方 Security Command Center について紹介します。 Security Command Center の概要 Security Command Center(以降、SCC)は、Google Cloud 上で使用しているサービスの脆弱性や脅威となりうる設定を検知することができるサービスです。 検知された脆弱性や脅威は、Google Cloud のダッシュボードに表示したり Pub/Sub にメッセージをパブリッシュすることができます。 ただし、S

クラウドエースの小坂です。 データウェアハウス構築、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回は Looker の Forecasting(予測) 機能を使ってみたので、概要と使い方を紹介してみようと思います。 Looker の Explore の基本的な使用方法を把握している方向けの説明になりますので、 基本的な操作方法等の説明は致しませんのでご了承ください。 Forecasting(予測) 機能とは Looker の Forecasting は、Explore 上で取得したデータを元に将来の数値を予測する機能で

こんにちは。 クラウドエース SREエンジニアのアイルトンと申します。 Google Cloudのセキュリティについて勉強中なので、学んだことを定期的に記事にまとめていこうと思います。 この記事では、BigQueryに機密情報を保持する場合に、情報を安全に保護する方法についてまとめます。 BigQuery上にあるデータを秘匿化するには、以下の方法があります。 BigQuery関数を使った暗号化 Data Loss Prevention (DLP)を使用した匿名化 承認済みビューを設定する Data Catalogによる動的マスキング テーブルやデータセットへのアクセス制御に加えて、以

TL;DR Zod の導入設定をした GAS プロジェクトのテンプレートを作って公開しました。 https://github.com/cloud-ace/zenn-gas-zod-template はじめに こんにちは、クラウドエースの伊藝です。 突然ですが、皆さんは バリカタ は好きですか？ 私は豚骨ラーメン屋さんに行くと、いつも バリカタ を頼んでいます。 家でインスタント麺を作るときも、プログラムを作るときも バリカタ です。 そうです。「Validation 型 (バリデーション・カタ)」、略して バリカタ です。 型ってなに？ 型とは、プログラムで扱われるデータがど

クラウドエースでデータ ML エンジニアをやっている神谷と申します。業務では、データ基盤構築やデータ分析に取り組んでいます。本記事では、ノーコード・ローコードでデータ パイプラインを作成できる Cloud Data Fusion を使って、どのぐらいの量のストリーミング データを捌けるかの性能検証を行います。 1. はじめに Google Cloud でストリーミング データのハンドリングと言えば Cloud Dataflow が挙がってくると思いますが、Data Fusion でも同様のことができるようなので、両者の違いを検証します。あらかじめ断っておくと、現時点（2022/11/

Private Service Connect 設定時の課題解決 みなさん、こんにちは。 クラウドエースでいつだってごきげんをキャッチフレーズにSREをしている長野です。 前回、Private Service Connectの設定：課題共有で共有した課題についての解決策を記載していきたいと思います。 ※ Private Service Connectは以降、PSCと略します 課題のおさらい 前回まとめた課題は以下のとおりです。 PSCを設定するVPCは共有VPCにしないといけない？ 名前解決をhostsで対応することは可能？ ルーティングはどんな設定をする必要がある？ それ

こんにちは。クラウドエースの阿部です。 この記事では Google Cloud Next'22 で発表された Cloud Workstations について説明します。 ! 2023/05/17 追記: Cloud Workstations は 2023年5月11日に一般提供されました。下記の記事で Public Preview から追加された機能について解説しておりますので、あわせてご覧下さい。 https://zenn.dev/cloud_ace/articles/925c11d6601324 Cloud Workstations 概要 Cloud Workstationsは、

みなさんこんにちは。 クラウドエースでSRE として活動してます、戸田と申します。 みなさんはGoogle Cloudを運用する中で、コスト戦略をとれていますか？ いつかは考えないといけないけど、後回しになりがちなコスト戦略について、私たちがよく用いる考え方を紹介していこうと思います。この記事を通じてみなさんのコスト戦略を考えるハードルが下がると幸いです。 この記事で分かること コスト戦略をとることによるメリット コスト戦略で考えるべきこと コスト戦略の運用方法 この記事で解説しないこと 請求アカウントの解説 各Google Cloud サービスのパフォーマンス チューニン

クラウドエースでデータ ML エンジニアをやっている神谷と申します。業務では、データ基盤構築やデータ分析に取り組んでいます。本記事では、最近パブリックプレビューになった Dataform を使って、BigQuery のデータ パイプラインの依存関係管理をしてみます（クイックスタートをベースとした前提条件の設定、Dataform プロジェクトの開始方法、画面操作イメージ等についてはこちらの記事を参照ください。） 1. はじめに ビッグデータ基盤において、データ パイプラインやデータそのものの品質を保つことは難しいと考える人は少なくないと思います。扱うデータ量が多くなればなるほど技術的難

こんにちは。クラウドエースでバックエンドエンジニアをしている吉崎です。 2022/10/25 にIAM の拒否ポリシーが GA(General Availability)になりました。 https://cloud.google.com/iam/docs/release-notes ※2022/3/3にプレビュー版がリリースされました。 この機能は、名前の通り、プリンシパル（主体）がある権限を使うのを拒否する機能です。 本稿では、以下の内容に焦点を当てて拒否ポリシーを説明します。 拒否ポリシーと許可ポリシーの関係 継承 使用の注意点 前置き IAM(Identity and A

Private Service Connect 設定時の知見を共有したい みなさん、こんにちは。 クラウドエースでいつだってごきげんをキャッチフレーズにSREをしている、長野と申します。 今回は案件でPrivate Service Connect(以降、PSCと略)を設定することになったので、そこで調査したことを共有したいと思います。 特に今回はいざ設定をするぞ、となった時に課題として出てきた3点について、その課題意識を共有できればと思います。 今回のPSCのユースケース そもそもPSCとは、外部IP(Public IP) を持たないVMやオンプレミスのクライアントからプライベー

はじめに こんにちは、クラウドエースの中嶋です。 皆さんは、gcpdiag という OSS のツールがあるのはご存知ですか？ gcpdiag は、Google Cloud プロジェクトの設定の問題を検出してくれるツールです。 クラウド利用時に発生するセキュリティインシデントの多くは、クラウドサービスの構成・設定ミスが原因です ですが、利用しているプロダクトやプロジェクトが多いとこのような構成・設定ミスに気付くのは、かなり大変です。 人手をかけず、自動で設定の問題を検出できたらどれだけ楽か…！ というわけで、今回は gcpdiag を使用して設定の問題を検出してみたいと思います。

はじめに こんにちは、クラウドエースの松浦です。 今回は、パブリックプレビューとなった Dataform をさわってみたいと思います。 その上で、より肝になる機能についてピックアップできればと思います。 Dataform について（個人の感想） Dataform を実際にさわる前に、 Dataform って何？ という個人の感想と公式ドキュメントを案内したいと思います。 個人の感想は「SQLXという記載方式を使って、ウェブブラウザ上のUIからBigQueryでのデータ変換に関して色々管理できるサービス」となります。 さわってみた結果変わるかもしれないですが、大雑把には上記の認識で

クラウドエースでデータ ML エンジニアをやっている神谷と申します。業務では、データ基盤構築やデータ分析に取り組んでいます。本記事では、軽量なワークフローをサーバレスでサクッと作れる Workflows を使って、依存関係のあるデータ パイプラインを構築するにはどういった実装方法が望ましいか検討・検証します。 1. はじめに 本記事では、Workflows を使って依存関係のあるデータ パイプラインを構築するための実装方法について検討・検証します。Google Cloud でデータパイプラインを構築するにあたり、様々なプロダクトの組み合わせやアーキテクチャがあります。その中でもサーバ

こんにちは、クラウドエースの吉崎です。 フルマネージドのコンテナ実行基盤である Cloud Run は、サービス作成時に URL が自動で生成され、簡単にインターネットに公開できることをご存知でしょうか。 簡単に公開できる反面、インターネットに公開するので、初めてデプロイしたときは「あ、やばいインターネットから大量のアクセスが来てしまう」と思いました。 しかし、それは本当でしょうか？ 本稿では、Cloud Run をインターネットに公開して「本当にインターネットから大量のアクセスが来てしまうのか」を検証します。 前置き 用語 サービス Cloud Run のメインリソース。 サ

クラウドエースの小坂です。 データウェアハウス構築、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回は Identity-Aware Proxy(IAP)を使って外部 IP を持たない Compute Engine(WindowsVM)にリモートデスクトップ(RDP)接続する方法 を説明しようと思います。 Identity-Aware Proxy(IAP)とは？ Google Cloud が提供する ID を用いて、アプリケーションや VM へのアクセスを制御(認証・認可)を行うサービスとなります。 例えば Google

こんにちは、クラウドエースでバックエンドエンジニアをしている吉崎です。 フルマネージドのコンテナ実行基盤である Cloud Run の startup CPU boost という機能をご存知でしょうか。 2022/9/14 にプレビュー版としてリリースされた機能です。 Cloud Run では、コンテナインスタンスが起動するときに時間がかかってしまうコールドスタートという問題があります。 Cloud Run は、課金の面で親切なゼロスケール(インスタンス数=0→ 無課金)が出来ますが、この場合、リクエストを受けて始めてインスタンスが起動します。 また、最小のインスタンス数を 1(=常時

はじめに こんにちは、クラウドエースでSREディビジョンに所属している Shanks と申します。 クラウドエースではギルドと呼ばれる任意参加型の技術習得・自己学習制度が存在します。 その１つでもあるセキュリティギルド（セキュリティに関する学習・アウトプットが目的のグループ）に所属しましたので、Google Cloud に関するセキュリティのナレッジをアウトプットする場として技術ブログに連載していくことになりました。 とはいえ、セキュリティの分野は幅広くどこから手をつけるべきか迷ってしまう、というのが正直なところかと思います。 そこで、GCP-Goat と呼ばれる、Google C

クラウドエースの小坂です。 データウェアハウス構築、最近は特に BigQuery/Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回は膨大なデータの中からある項目のユニーク数(例えば DAU/MAU など)を集計する際に近似集計を使って集計処理を高速化する方法について紹介します。 検証に利用するデータ 今回は BigQuery 上で無償で提供されている bigquery-public-data のデータセットのデータを利用します。 https://cloud.google.com/bigquery/public-data テーブルは

Cloud Armor の細切れルールによる課金を節約することに成功したクラウドエースの吉崎です。 今回は Cloud Armor のリソースを terraform plan したときの少し分かりづらい差分を分かりやすくする方法を紹介します。 見にくい差分 まずは terraform のコードです。 Cloud Armor の許可ルールに IP アドレスを 3 つ追加する変更を加えています。 armor.tf resource "google_compute_security_policy" "minikui" { name = "minikui" rule {