クラウドエース の技術ブログ
全406件
Cloud Data Fusion でストリーミング データを BigQuery に格納する際の性能検証
2022/11/16
ブックマーク
クラウドエースでデータ ML エンジニアをやっている神谷と申します。業務では、データ基盤構築やデータ分析に取り組んでいます。本記事では、ノーコード・ローコードでデータ パイプラインを作成できる Cloud Data Fusion を使って、どのぐらいの量のストリーミング データを捌けるかの性能検証を行います。 1. はじめに Google Cloud でストリーミング データのハンドリング
Private Service Connectの設定：課題解決
2022/11/08
ブックマーク
Private Service Connect 設定時の課題解決 みなさん、こんにちは。 クラウドエースでいつだってごきげんをキャッチフレーズにSREをしている長野です。 前回、Private Service Connectの設定：課題共有で共有した課題についての解決策を記載していきたいと思います。 ※ Private Service Connectは以降、PSCと略します 課題のおさらい 前回まとめた課題は以下のとおりです。 PSCを設定するVP
Google Cloud Next'22 で発表された Cloud Workstations を試してみた
2022/11/07
ブックマーク
こんにちは。クラウドエースの阿部です。 この記事では Google Cloud Next'22 で発表された Cloud Workstations について説明します。 ! 2023/05/17 追記: Cloud Workstations は 2023年5月11日に一般提供されました。下記の記事で Public Preview から追加された機能について解説しておりますので、あわせてご覧下さい。 https://zenn.dev/cloud_ace/articles/925c11d6601324 Cloud Workstations 概要 Cloud Workstationsは、
楽して対策！Google Cloud コスト戦略【基本編】
2022/11/02
ブックマーク
みなさんこんにちは。 クラウドエースでSRE として活動してます、戸田と申します。 みなさんはGoogle Cloudを運用する中で、コスト戦略をとれていますか？ いつかは考えないといけないけど、後回しになりがちなコスト戦略について、私たちがよく用いる考え方を紹介していこうと思います。この記事を通じてみなさんのコスト戦略を考えるハードルが下がると幸いです。
Dataform を使って BigQuery データ パイプラインの依存関係を管理する
2022/11/02
ブックマーク
クラウドエースでデータ ML エンジニアをやっている神谷と申します。業務では、データ基盤構築やデータ分析に取り組んでいます。本記事では、最近パブリックプレビューになった Dataform を使って、BigQuery のデータ パイプラインの依存関係管理をしてみます（クイックスタートをベースとした前提条件の設定、Dataform プロジェクトの開始方法、画面操作イメージ等につ
Google CloudのIAMの拒否ポリシーがGAになったので試してみる
2022/11/01
ブックマーク
こんにちは。クラウドエースでバックエンドエンジニアをしている吉崎です。 2022/10/25 にIAM の拒否ポリシーが GA(General Availability)になりました。 https://cloud.google.com/iam/docs/release-notes ※2022/3/3にプレビュー版がリリースされました。 この機能は、名前の通り、プリンシパル（主体）がある権限を使うのを拒否する機能です。 本稿では、以下の内容に焦点を当てて拒否ポリシ
Private Service Connectの設定：課題共有
2022/10/31
ブックマーク
Private Service Connect 設定時の知見を共有したい みなさん、こんにちは。 クラウドエースでいつだってごきげんをキャッチフレーズにSREをしている、長野と申します。 今回は案件でPrivate Service Connect(以降、PSCと略)を設定することになったので、そこで調査したことを共有したいと思います。 特に今回はいざ設定をするぞ、となった時に課題として出てきた3点について、そ
Google Cloudのトラブルシューティングツール「gcpdiag」を使って設定の検査をしてみた
2022/10/28
ブックマーク
はじめに こんにちは、クラウドエースの中嶋です。 皆さんは、gcpdiag という OSS のツールがあるのはご存知ですか？ gcpdiag は、Google Cloud プロジェクトの設定の問題を検出してくれるツールです。 クラウド利用時に発生するセキュリティインシデントの多くは、クラウドサービスの構成・設定ミスが原因です ですが、利用しているプロダクトやプロジェクトが多いとこの
Dataform さわってみた
2022/10/27
ブックマーク
はじめに こんにちは、クラウドエースの松浦です。 今回は、パブリックプレビューとなった Dataform をさわってみたいと思います。 その上で、より肝になる機能についてピックアップできればと思います。 Dataform について（個人の感想） Dataform を実際にさわる前に、 Dataform って何？ という個人の感想と公式ドキュメントを案内したいと思います。 個人の感想は「SQLXと
Workflows を使って依存関係のあるデータパイプラインを作る
2022/10/24
ブックマーク
クラウドエースでデータ ML エンジニアをやっている神谷と申します。業務では、データ基盤構築やデータ分析に取り組んでいます。本記事では、軽量なワークフローをサーバレスでサクッと作れる Workflows を使って、依存関係のあるデータ パイプラインを構築するにはどういった実装方法が望ましいか検討・検証します。 1. はじめに 本記事では、Workflows を使って依存関
未認証を許可してインターネットに公開した Cloud Run、外部アクセス来ない説
2022/10/24
ブックマーク
こんにちは、クラウドエースの吉崎です。 フルマネージドのコンテナ実行基盤である Cloud Run は、サービス作成時に URL が自動で生成され、簡単にインターネットに公開できることをご存知でしょうか。 簡単に公開できる反面、インターネットに公開するので、初めてデプロイしたときは「あ、やばいインターネットから大量のアクセスが来てしまう」と思いました。 し
IAP を使って外部 IP を持たない Compute Engine(WindowsVM)にリモートデスクトップ接続する方法
2022/10/18
ブックマーク
クラウドエースの小坂です。 データウェアハウス構築、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回は Identity-Aware Proxy(IAP)を使って外部 IP を持たない Compute Engine(WindowsVM)にリモートデスクトップ(RDP)接続する方法 を説明しようと思います。 Identity-Aware Proxy(IAP)とは？ Google Cloud が提供する ID を用いて、アプ
Cloud Run の startup CPU boost でコールドスタートはどれぐらい改善されるか
2022/10/07
ブックマーク
こんにちは、クラウドエースでバックエンドエンジニアをしている吉崎です。 フルマネージドのコンテナ実行基盤である Cloud Run の startup CPU boost という機能をご存知でしょうか。 2022/9/14 にプレビュー版としてリリースされた機能です。 Cloud Run では、コンテナインスタンスが起動するときに時間がかかってしまうコールドスタートという問題があります。 Cloud Run は、課
GCP-Goat で学ぶ Google Cloud セキュリティ Day1
2022/10/06
ブックマーク
はじめに こんにちは、クラウドエースでSREディビジョンに所属している Shanks と申します。 クラウドエースではギルドと呼ばれる任意参加型の技術習得・自己学習制度が存在します。 その１つでもあるセキュリティギルド（セキュリティに関する学習・アウトプットが目的のグループ）に所属しましたので、Google Cloud に関するセキュリティのナレッジをアウトプットす
BigQuery の COUNT DISTINCT を近似集計で高速化する
2022/10/03
ブックマーク
クラウドエースの小坂です。 データウェアハウス構築、最近は特に BigQuery/Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回は膨大なデータの中からある項目のユニーク数(例えば DAU/MAU など)を集計する際に近似集計を使って集計処理を高速化する方法について紹介します。 検証に利用するデータ 今回は BigQuery 上で無償