クラウドエースData/MLディビジョン所属のODRです。 今回は、データ分析基盤構築・運用の支援 SaaS である trocco を使用して、SalesforceのデータをBigQueryに連携してみたので、手順と感想を記事にまとめてみました。 troccoを使用することで、簡単かつ迅速にSalesforceの複数のオブジェクトをBigQueryに連携することができたので、データ分析基盤構築をどのように進めたらよいかわからない初心者や、構築工数を削減したいデータエンジニアの参考になれば幸いです。 trocco とは trocco®は、ELT/データ転送・データマート生成・ジョブ管理

こんにちは、SREディビジョンの松島です。 この記事では Workload Identity 連携の機能紹介と、GitHub Actions から Google Cloud を操作するハンズオンを行います。 Workload Identity 連携とは 外部のワークロードに対して Google Cloud のサービスアカウントの権限を利用させることができる機能です。 AWSや、OpenID Connect、SAML 2.0 について Workload Identity による ID の連携が可能となっています。 Workload Identity 連携のいいところ サービスアカウ

はじめに こんにちは、クラウドエース データML ディビジョン所属の森です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、Cloud Spannerの「細かいアクセス制御」についてに

こんにちは、クラウドエース SRE ディビジョンの松島です。 今回は Cloud Armor の事前構成 WAF ルールの機能紹介と、実際にサービスに適用する際のルールの調整に関する記事を投稿します。 Cloud Armorとは Cloud Armor は Google Cloud が提供するマネージド WAF です。 保護ルールをセキュリティポリシーとして定義し、ロードバランサの背後のアプリケーションに紐づけることで DDoS や XSS などの各種攻撃から Web アプリケーションを保護することができます。 Cloud Armor 事前構成 WAF ルールとは 概要 オー

要約 クラウドエースの北野です。 Google CloudのCloud BuildでGitHubのプライベートリポジトリをサブモジュールとして使う方法を紹介します。本記事では、プライベートリポジトリの認証にGitHubのPersonal Access Token (PAT)を使います。 Google CloudでのPATの管理方法、Cloud Buildで認証情報の持たせ方と認証情報の内容は以下となります。 PATの管理方法: Secret Managerで管理 Cloud Buildでの認証方法の持たせ方: ~/.git-credentialsに定義 ~/.git-creden

はじめに こんにちは、クラウドエース データML ディビジョン所属の永山です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、「Cloud Spanner のGoogleSQL句に新し

要約 クラウドエースの北野です。 Cloud Buildのビルドをプライベートプールで実行する方法を紹介します。 プライベートプールでのビルド実行の流れは、以下の通りとなります。 プライベートプールの作成 ビルド構成ファイルの実行環境の箇所にプライベートプールの指定 ビルド構成ファイルの定義する箇所: options.pool.name プライベートプールのIDの形式: projects/<PROJECT_ID>/locations/<REGION>/workerPools/<PRIVATEPOOL_NAME> ビルド構成ファイルからビ

はじめに こんにちは、クラウドエースの伊藝です。 変数を any として扱うと、プログラムを自由に書くことができます。 しかし、any を使いすぎると型周りでエラーが発生し、プログラムが意図しない動作をしてしまう可能性があります。 それを防ぐために TypeScript や、型をバリデーションするライブラリが開発されています。 バリデーションライブラリの 1 つに Zod があります。 Zod の基本的な紹介としては以下の記事が分かりやすく参考になるかと思います。 TypeScript のゾッとする話 ~ Zod の紹介 ~ Zod のつらいとこ Zod は独自のスキーマを定義し

クラウドエースの穂戸田と申します。 本記事では、パラメータの値に対応する動的ディメンションを作成し、 利用方法として動的な集計範囲の変更を一例としてまとめてみました。 「Lookerを最近使い始めたよ〜」くらいの人にちょうどいい内容だと思います。 やりたいこと 選択された集計範囲に応じてグラフの軸が動的に変更されるようにしたい 今回は例として、12ヶ月/5週間のパラメータを設置し、 12ヶ月が選択された場合は1ヶ月単位12ヶ月分のデータを取得、 5週間が選択された場合は1週間単位で5週間分のデータを取得できるようにします。 集計範囲それぞれに対応したグラフの作成例は以下の通りです。

こんにちは、クラウドエース SRE ディビジョンの松島です。 本記事では GKE のノード自動管理機能であるクラスタの自動スケーリングとノードの自動プロビジョニングについて、機能の紹介と簡単な動作の検証を行い、それぞれの機能の用途について考えていきたいと思います。 目次 機能紹介 動かしてみる 機能の用途 おわりに 1. 機能紹介 それぞれ、 クラスタの自動スケーリング：　ノードプール内でノードを増減させる機能 ノードの自動プロビジョニング：　ノードプール自体を増減させる機能 となります。 以下もう少し細かい紹介です。 1-1. クラスタの自動スケーリング ノードプ

クラウドエース SRE ディビジョンの松島です。 今回はGKEの追加機能である Config Connector について、調査及び動かしてみた結果を投稿します。 目次 Config Connector とは Config Connector でできること Config Connector を試してみる Config Connector の使い所 最後に Config Connectorとは Config Connector は、 Kubernetes を使用して Google Cloud リソースをするための Kubernetes アドオンです。 Config Conn

こんにちは。 クラウドエースの梅田です。 2022年10月に Cloud Build Security Insights という機能がプレビューとなりました。 本記事では、Supply-chain Levels for Software Artifacts (SLSA) に注目しながら Cloud Build Security Insights で何ができるのかを説明していきたいと思います。 Supply-chain Levels for Software Artifacts (SLSA) とは そもそも SLSA とは何かを確認したいと思います。 SLSA とはソフトウェアサプライ

こんにちは。クラウドエースのアイルトンです。 今年はGoogle Cloudのセキュリティ分野についての解説記事をたくさん(?)出せたらなーと思っています! 今回はVPCSCの解説記事です。 この記事を読めば、以下のようなことがわかると思います! VPCSCとはなにか VPCSCで保護したプロジェクトに、どのようにアクセスすればよいのか VPCSCってなに? 正式にはVPC Service Controlsといいます。 公式ドキュメントには、このように書いてあります。 VPC Service Controls を使用すると、Cloud Storage や BigQuery など

はじめに クラウドエースの島田です。 本記事ではGoogle Compute Engine(以降、GCEと記述)のセキュリティチェックポイントを紹介します。 GCEを利用する際の参考にしていただければ幸いです。 以下のようなトピックになっています。 サービスアカウントとIAM ネットワーク GCEまわりの設定 本記事ではチェックポイントを紹介するだけにとどめます。 各項目の確認、修正方法はドキュメントのリンクを参照してください。 注意事項 本記事で紹介する設定は、一般的なベストプラクティスにSecurity Command CenterのGCEの推奨設定を加えたものになります

こんにちは。クラウドエースの阿部です。 こちらの記事では、2022年12月16日に GKE Gateway controllerに追加された新しい HTTP(S) ロードバランサの Gateway class について検証してみます。 はじめに Kubernetes Gateway API と GKE Gateway controller の概要や基本構成については、下記の記事にて説明しておりますので、よろしければご一読ください。 https://zenn.dev/cloud_ace/articles/255ccf620f7707 追加された機能について 現在、Google Cl

はじめに こんにちは、クラウドエースで SRE ディビジョンに所属している Shanks と申します。 この記事を書き始めたころ、年の瀬を迎えてクラウドエースでも資格取得ラッシュの慌ただしい日々が続いていました。 そんな駆け込みのタイミングで、11月に筆者も Professional Cloud Security Engineer を取得して無事に新年を迎えられました。 本日は年のはじめに 「Professional Cloud Security Engineer 完全攻略ガイド2022」 と題して、合格体験記＋攻略記事を投稿したいと思います。 おそらく 2023 年で最初に投稿され

まえがき クラウドエース株式会社の亀梨と申します。SIインフラ領域を担当しております。 Batch (Cloud Batchではない)が 2022-10-11にGAとなりました。 Batchとは何なのか？似たような名前のWorkflows、Cloud Composer(こっちはCloudがつく)との関連は…？ そんなことが気になって脳裏にチラついていたため、ざっくり調べてみました。 書いていないこと Pub/Subはバッチ処理の枠に収まらない汎用キューなので除外しています。 Dataprocはそれ単体で完結している(Hadoop/Spark環境)サービスなので除外しています。

こんにちは、クラウドエースの阿部です。 こちらの記事では、Pod Security Policy の後継機能となる Pod Security Admission Controller について解説します。 なお、Pod Security Policy廃止とPod Security Admissionについては以前より様々なブログで解説記事があります。 それらの記事と重複する部分は多々ありますが、それらは踏まえつつ自分なりに今更解説していこうと思います。[1] TL;DR: Pod SecurityPolicy の廃止と Pod Security Admission について Kube

クラウドエースでデータ ML エンジニアをやっている篠田です。 2022 年 4 月 6 日に Google Cloud が提供しているVertex AI Workbenchが一般公開(GA)になりました。 本記事では、Vertex AI WorkbenchマネージドノートブックのJupyterLab UIから、どのような使用感でBigQueryへアクセスできるのかを紹介します。 Workbenchとは データサイエンスワークフロー全体に特化したJupyterノートブックベースのフルマネージド開発環境です。 環境オプションとして以下２つが用意されています。 ・マネージドノートブック(

こんにちは、クラウドエースの錦木です。 Cloud Deployが利用するskaffoldがHelm Chartを利用できることと、Artifact RegistryがHelm Chartを保存できることを知りました。 これらを組み合わせれば、マニフェストの管理及びそのデプロイパイプラインに新たな可能性を見出だせる気がするため、とりあえず触ってみようという趣旨です。 Cloud DeployからArtifact Registryに保存したHelm Chartを利用して、 GKEで起動したKubernetesクラスタにアプリケーションをデプロイするパイプラインを構築し、サンプルコードを提供