こんにちは。クラウドエースの阿部です。 この記事では Google Cloud Next'22 で発表された Cloud Workstations について説明します。 ! 2023/05/17 追記: Cloud Workstations は 2023年5月11日に一般提供されました。下記の記事で Public Preview から追加された機能について解説しておりますので、あわせてご覧下さい。 https://zenn.dev/cloud_ace/articles/925c11d6601324 Cloud Workstations 概要 Cloud Workstationsは、

みなさんこんにちは。 クラウドエースでSRE として活動してます、戸田と申します。 みなさんはGoogle Cloudを運用する中で、コスト戦略をとれていますか？ いつかは考えないといけないけど、後回しになりがちなコスト戦略について、私たちがよく用いる考え方を紹介していこうと思います。この記事を通じてみなさんのコスト戦略を考えるハードルが下がると幸いです。 この記事で分かること コスト戦略をとることによるメリット コスト戦略で考えるべきこと コスト戦略の運用方法 この記事で解説しないこと 請求アカウントの解説 各Google Cloud サービスのパフォーマンス チューニン

クラウドエースでデータ ML エンジニアをやっている神谷と申します。業務では、データ基盤構築やデータ分析に取り組んでいます。本記事では、最近パブリックプレビューになった Dataform を使って、BigQuery のデータ パイプラインの依存関係管理をしてみます（クイックスタートをベースとした前提条件の設定、Dataform プロジェクトの開始方法、画面操作イメージ等についてはこちらの記事を参照ください。） 1. はじめに ビッグデータ基盤において、データ パイプラインやデータそのものの品質を保つことは難しいと考える人は少なくないと思います。扱うデータ量が多くなればなるほど技術的難

こんにちは。クラウドエースでバックエンドエンジニアをしている吉崎です。 2022/10/25 にIAM の拒否ポリシーが GA(General Availability)になりました。 https://cloud.google.com/iam/docs/release-notes ※2022/3/3にプレビュー版がリリースされました。 この機能は、名前の通り、プリンシパル（主体）がある権限を使うのを拒否する機能です。 本稿では、以下の内容に焦点を当てて拒否ポリシーを説明します。 拒否ポリシーと許可ポリシーの関係 継承 使用の注意点 前置き IAM(Identity and A

Private Service Connect 設定時の知見を共有したい みなさん、こんにちは。 クラウドエースでいつだってごきげんをキャッチフレーズにSREをしている、長野と申します。 今回は案件でPrivate Service Connect(以降、PSCと略)を設定することになったので、そこで調査したことを共有したいと思います。 特に今回はいざ設定をするぞ、となった時に課題として出てきた3点について、その課題意識を共有できればと思います。 今回のPSCのユースケース そもそもPSCとは、外部IP(Public IP) を持たないVMやオンプレミスのクライアントからプライベー

はじめに こんにちは、クラウドエースの中嶋です。 皆さんは、gcpdiag という OSS のツールがあるのはご存知ですか？ gcpdiag は、Google Cloud プロジェクトの設定の問題を検出してくれるツールです。 クラウド利用時に発生するセキュリティインシデントの多くは、クラウドサービスの構成・設定ミスが原因です ですが、利用しているプロダクトやプロジェクトが多いとこのような構成・設定ミスに気付くのは、かなり大変です。 人手をかけず、自動で設定の問題を検出できたらどれだけ楽か…！ というわけで、今回は gcpdiag を使用して設定の問題を検出してみたいと思います。

はじめに こんにちは、クラウドエースの松浦です。 今回は、パブリックプレビューとなった Dataform をさわってみたいと思います。 その上で、より肝になる機能についてピックアップできればと思います。 Dataform について（個人の感想） Dataform を実際にさわる前に、 Dataform って何？ という個人の感想と公式ドキュメントを案内したいと思います。 個人の感想は「SQLXという記載方式を使って、ウェブブラウザ上のUIからBigQueryでのデータ変換に関して色々管理できるサービス」となります。 さわってみた結果変わるかもしれないですが、大雑把には上記の認識で

クラウドエースでデータ ML エンジニアをやっている神谷と申します。業務では、データ基盤構築やデータ分析に取り組んでいます。本記事では、軽量なワークフローをサーバレスでサクッと作れる Workflows を使って、依存関係のあるデータ パイプラインを構築するにはどういった実装方法が望ましいか検討・検証します。 1. はじめに 本記事では、Workflows を使って依存関係のあるデータ パイプラインを構築するための実装方法について検討・検証します。Google Cloud でデータパイプラインを構築するにあたり、様々なプロダクトの組み合わせやアーキテクチャがあります。その中でもサーバ

こんにちは、クラウドエースの吉崎です。 フルマネージドのコンテナ実行基盤である Cloud Run は、サービス作成時に URL が自動で生成され、簡単にインターネットに公開できることをご存知でしょうか。 簡単に公開できる反面、インターネットに公開するので、初めてデプロイしたときは「あ、やばいインターネットから大量のアクセスが来てしまう」と思いました。 しかし、それは本当でしょうか？ 本稿では、Cloud Run をインターネットに公開して「本当にインターネットから大量のアクセスが来てしまうのか」を検証します。 前置き 用語 サービス Cloud Run のメインリソース。 サ

クラウドエースの小坂です。 データウェアハウス構築、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回は Identity-Aware Proxy(IAP)を使って外部 IP を持たない Compute Engine(WindowsVM)にリモートデスクトップ(RDP)接続する方法 を説明しようと思います。 Identity-Aware Proxy(IAP)とは？ Google Cloud が提供する ID を用いて、アプリケーションや VM へのアクセスを制御(認証・認可)を行うサービスとなります。 例えば Google

こんにちは、クラウドエースでバックエンドエンジニアをしている吉崎です。 フルマネージドのコンテナ実行基盤である Cloud Run の startup CPU boost という機能をご存知でしょうか。 2022/9/14 にプレビュー版としてリリースされた機能です。 Cloud Run では、コンテナインスタンスが起動するときに時間がかかってしまうコールドスタートという問題があります。 Cloud Run は、課金の面で親切なゼロスケール(インスタンス数=0→ 無課金)が出来ますが、この場合、リクエストを受けて始めてインスタンスが起動します。 また、最小のインスタンス数を 1(=常時

はじめに こんにちは、クラウドエースでSREディビジョンに所属している Shanks と申します。 クラウドエースではギルドと呼ばれる任意参加型の技術習得・自己学習制度が存在します。 その１つでもあるセキュリティギルド（セキュリティに関する学習・アウトプットが目的のグループ）に所属しましたので、Google Cloud に関するセキュリティのナレッジをアウトプットする場として技術ブログに連載していくことになりました。 とはいえ、セキュリティの分野は幅広くどこから手をつけるべきか迷ってしまう、というのが正直なところかと思います。 そこで、GCP-Goat と呼ばれる、Google C

クラウドエースの小坂です。 データウェアハウス構築、最近は特に BigQuery/Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回は膨大なデータの中からある項目のユニーク数(例えば DAU/MAU など)を集計する際に近似集計を使って集計処理を高速化する方法について紹介します。 検証に利用するデータ 今回は BigQuery 上で無償で提供されている bigquery-public-data のデータセットのデータを利用します。 https://cloud.google.com/bigquery/public-data テーブルは

Cloud Armor の細切れルールによる課金を節約することに成功したクラウドエースの吉崎です。 今回は Cloud Armor のリソースを terraform plan したときの少し分かりづらい差分を分かりやすくする方法を紹介します。 見にくい差分 まずは terraform のコードです。 Cloud Armor の許可ルールに IP アドレスを 3 つ追加する変更を加えています。 armor.tf resource "google_compute_security_policy" "minikui" { name = "minikui" rule {

はじめに こんにちは、クラウドエースの伊藝です。 最近、T3 Stack というワードが話題になっています。 以下で紹介されているように、簡潔さ、モジュール性、フルスタックの型安全を重視した技術スタックです。 https://zenn.dev/mikinovation/articles/20220911-t3-stack T3 Stack は以下のパッケージで構成されています。 Next.js tRPC Tailwind CSS TypeScript Prisma NextAuth.js 今回は T3 Stack アプリを実際に構築して、実行してみます。 環境 Ubuntu

こんにちは。 環境整備や見た目に時間をかけすぎて本題に入りそこねがちなクラウドエースの吉崎です。 本稿もそうですが、Zenn CLIを使って記事の作成やプレビューを行っています。 しかし、WSL(Ubuntu)環境で Zenn CLI を使って Terraform(Google Cloud)の記事を書くまでの道のりは、難しくもありませんが簡単でもありません。 次回、別の端末で同じ環境を構築するための備忘として、誰か同じ環境を構築して Zenn で記事を書こうと思っている人のため、本稿ではその道のりを記します。 なお、WSL(Ubuntu)のインストールは割愛しますので、WSL(Ubunt

こんにちは、クラウドエースの吉崎です。 Cloud Armor の料金体系をご存知でしょうか。 公式ドキュメントを見ると、以下の項目に対して課金されます。 項目 課金 WAF requests $0.75 per million requests WAF security policies $5 per policy per month WAF rules $1 per rule per month 最も課金額が大きいのは WAF security policies ですが、本稿で節約の対象とするのは WAF rules です。 出来るだけ作成されるルールの数

クラウドエースの小坂です。 データウェアハウス構築、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回は Looker の OSS である Gazer(gzr) を使って、同一インスタンス内のダッシュボード同士を更新(上書き)する方法を説明します。 実際にどういったケースを想定しているかと言うと… Looker のインスタンスを1台しか保有しておらず、1インスタンス内で開発フォルダ・本番フォルダをわけてコンテンツの管理をしている ようなケースです。 上記のような状況で本番フォルダで既に利用中のダッシュボードに更新を行いたい

こんにちは、クラウドエースのシステム開発部/SREディビジョン所属の菊池と申します。 本記事では以下の記事を参考にして、Google Cloud の組織のポリシーを簡易にまとめてみました。 組織ポリシー サービスの概要 また、組織のポリシーを適用して検証させた記事も少なかったので、実際に組織ポリシーを適用させて検証しました。 検証では同じディビジョンの山﨑に協力していただきました。 まず組織とは Google Cloud では、組織やプロジェクトなどのコンテナ リソースを使用して、他の Google Cloud リソースをグループ化し、階層的にまとめることができます。 この階層的な

クラウドエースの小坂です。 データウェアハウス構築、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回は Looker の OSS である Gazer(gzr) のインストール手順をまとめてみました。 gzr とは Looker が OSS で提供するコンテンツ(ダッシュボード・Look)の管理を行うためのコマンドラインツールです。 https://github.com/looker-open-source/gzr 主に、開発環境(インスタンス)で作成したコンテンツを本番環境(インスタンス)に移行する、等の用途で使用するツ