クラウドエース の技術ブログ
全474件
Google Cloudのトラブルシューティングツール「gcpdiag」を使って設定の検査をしてみた
2022/10/28
ブックマーク
はじめに こんにちは、クラウドエースの中嶋です。 皆さんは、gcpdiag という OSS のツールがあるのはご存知ですか？ gcpdiag は、Google Cloud プロジェクトの設定の問題を検出してくれるツールです。 クラウド利用時に発生するセキュリティインシデントの多くは、クラウドサービスの構成・設定ミスが原因です ですが、利用しているプロダクトやプロジェクトが多いとこの
Dataform さわってみた
2022/10/27
ブックマーク
はじめに こんにちは、クラウドエースの松浦です。 今回は、パブリックプレビューとなった Dataform をさわってみたいと思います。 その上で、より肝になる機能についてピックアップできればと思います。 Dataform について（個人の感想） Dataform を実際にさわる前に、 Dataform って何？ という個人の感想と公式ドキュメントを案内したいと思います。 個人の感想は「SQLXと
Workflows を使って依存関係のあるデータパイプラインを作る
2022/10/24
ブックマーク
クラウドエースでデータ ML エンジニアをやっている神谷と申します。業務では、データ基盤構築やデータ分析に取り組んでいます。本記事では、軽量なワークフローをサーバレスでサクッと作れる Workflows を使って、依存関係のあるデータ パイプラインを構築するにはどういった実装方法が望ましいか検討・検証します。 1. はじめに 本記事では、Workflows を使って依存関
未認証を許可してインターネットに公開した Cloud Run、外部アクセス来ない説
2022/10/24
ブックマーク
こんにちは、クラウドエースの吉崎です。 フルマネージドのコンテナ実行基盤である Cloud Run は、サービス作成時に URL が自動で生成され、簡単にインターネットに公開できることをご存知でしょうか。 簡単に公開できる反面、インターネットに公開するので、初めてデプロイしたときは「あ、やばいインターネットから大量のアクセスが来てしまう」と思いました。 し
IAP を使って外部 IP を持たない Compute Engine(WindowsVM)にリモートデスクトップ接続する方法
2022/10/18
ブックマーク
クラウドエースの小坂です。 データウェアハウス構築、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回は Identity-Aware Proxy(IAP)を使って外部 IP を持たない Compute Engine(WindowsVM)にリモートデスクトップ(RDP)接続する方法 を説明しようと思います。 Identity-Aware Proxy(IAP)とは？ Google Cloud が提供する ID を用いて、アプ
Cloud Run の startup CPU boost でコールドスタートはどれぐらい改善されるか
2022/10/07
ブックマーク
こんにちは、クラウドエースでバックエンドエンジニアをしている吉崎です。 フルマネージドのコンテナ実行基盤である Cloud Run の startup CPU boost という機能をご存知でしょうか。 2022/9/14 にプレビュー版としてリリースされた機能です。 Cloud Run では、コンテナインスタンスが起動するときに時間がかかってしまうコールドスタートという問題があります。 Cloud Run は、課
GCP-Goat で学ぶ Google Cloud セキュリティ Day1
2022/10/06
ブックマーク
はじめに こんにちは、クラウドエースでSREディビジョンに所属している Shanks と申します。 クラウドエースではギルドと呼ばれる任意参加型の技術習得・自己学習制度が存在します。 その１つでもあるセキュリティギルド（セキュリティに関する学習・アウトプットが目的のグループ）に所属しましたので、Google Cloud に関するセキュリティのナレッジをアウトプットす
BigQuery の COUNT DISTINCT を近似集計で高速化する
2022/10/03
ブックマーク
クラウドエースの小坂です。 データウェアハウス構築、最近は特に BigQuery/Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回は膨大なデータの中からある項目のユニーク数(例えば DAU/MAU など)を集計する際に近似集計を使って集計処理を高速化する方法について紹介します。 検証に利用するデータ 今回は BigQuery 上で無償
Cloud Armor の terraform plan 差分が少し分かりづらい
2022/09/30
ブックマーク
Cloud Armor の細切れルールによる課金を節約することに成功したクラウドエースの吉崎です。 今回は Cloud Armor のリソースを terraform plan したときの少し分かりづらい差分を分かりやすくする方法を紹介します。 見にくい差分 まずは terraform のコードです。 Cloud Armor の許可ルールに IP アドレスを 3 つ追加する変更を加えています。 armor.tf resource "google_compute_security_policy" "miniku
T3 Stack でアプリを構築して実行してみた
2022/09/29
ブックマーク
はじめに こんにちは、クラウドエースの伊藝です。 最近、T3 Stack というワードが話題になっています。 以下で紹介されているように、簡潔さ、モジュール性、フルスタックの型安全を重視した技術スタックです。 https://zenn.dev/mikinovation/articles/20220911-t3-stack T3 Stack は以下のパッケージで構成されています。 Next.js tRPC Tailwind CSS TypeScript Prisma NextAuth.js 今回は T3 Stack アプリを
WSL(Ubuntu 20.04)でZenn CLIを使いTerraform(Google Cloud)の記事が快適に書けるようになるまで
2022/09/28
ブックマーク
こんにちは。 環境整備や見た目に時間をかけすぎて本題に入りそこねがちなクラウドエースの吉崎です。 本稿もそうですが、Zenn CLIを使って記事の作成やプレビューを行っています。 しかし、WSL(Ubuntu)環境で Zenn CLI を使って Terraform(Google Cloud)の記事を書くまでの道のりは、難しくもありませんが簡単でもありません。 次回、別の端末で同じ環境を構築するための備忘と
Cloud Armor の細切れルールによる課金を節約する
2022/09/22
ブックマーク
こんにちは、クラウドエースの吉崎です。 Cloud Armor の料金体系をご存知でしょうか。 公式ドキュメントを見ると、以下の項目に対して課金されます。 項目 課金 WAF requests $0.75 per million requests WAF security policies $5 per policy per month WAF rules $1 per rule per month 最も課金額が大きいのは WAF security policies ですが、本稿で節約の対象とするのは WAF rules です。 出来るだけ作成されるルー
Gazer(gzr) を使用して Looker の同一インスタンス内のダッシュボードを更新(上書き)する方法
2022/09/20
ブックマーク
クラウドエースの小坂です。 データウェアハウス構築、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回は Looker の OSS である Gazer(gzr) を使って、同一インスタンス内のダッシュボード同士を更新(上書き)する方法を説明します。 実際にどういったケースを想定しているかと言うと… Looker のインスタンスを1台
Google Cloud の組織のポリシーのまとめと検証
2022/09/16
ブックマーク
こんにちは、クラウドエースのシステム開発部/SREディビジョン所属の菊池と申します。 本記事では以下の記事を参考にして、Google Cloud の組織のポリシーを簡易にまとめてみました。 組織ポリシー サービスの概要 また、組織のポリシーを適用して検証させた記事も少なかったので、実際に組織ポリシーを適用させて検証しました。 検証では同じディビジョンの山﨑に協
Looker のコンテンツ管理ソフトウェアの Gazer(gzr) のインストール手順
2022/09/15
ブックマーク
クラウドエースの小坂です。 データウェアハウス構築、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回は Looker の OSS である Gazer(gzr) のインストール手順をまとめてみました。 gzr とは Looker が OSS で提供するコンテンツ(ダッシュボード・Look)の管理を行うためのコマンドラインツールです。 https://github.com/look