クラウドエース の技術ブログ
全516件
Dataflow Prime のバッチジョブで垂直スケールする方法
2023/04/21
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の坂田です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリース
Cloud SQL for PostgreSQLでリードレプリカのサイズをプライマリインスタンスより小さくできるようになりました
2023/04/21
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の田中です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを
BigQuery で WITH RECURSIVE 句が GA になりました！
2023/04/18
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の池上です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンになります。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリー
Looker のリリースノートが Google Cloud リリースノートシステムに統合されました
2023/04/17
ブックマーク
こんにちは！クラウドエースの小坂と申します。✨ データウェアハウス構築に関して、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーを積極的に担当しております。 さて、タイトルにもある通り、Looker のリリースノートが Google Cloud のリリースノートシステムに統合されたことをお知らせいたします！🎉 これまで Looker のリリースノ
GKE における k8s.gcr.io 廃止の影響について
2023/04/14
ブックマーク
こんにちは。クラウドエースの阿部です。 この記事では、Google Kubernetes Engine (GKE)における k8s.gcr.io 廃止の影響について調査したことをまとめています。 k8s.gcr.io 廃止と registry.k8s.io への移行について 廃止の経緯 Kubernetes v1.25以降において、kube-system等で使用される標準のコンテナイメージは k8s.gcr.io から registry.k8s.io に変更されました。(v1.22, v1.23, v1.24にもバックポートさ
troccoを使って、SalesforceのデータをBigQueryに連携してみた
2023/04/14
ブックマーク
クラウドエースData/MLディビジョン所属のODRです。 今回は、データ分析基盤構築・運用の支援 SaaS である trocco を使用して、SalesforceのデータをBigQueryに連携してみたので、手順と感想を記事にまとめてみました。 troccoを使用することで、簡単かつ迅速にSalesforceの複数のオブジェクトをBigQueryに連携することができたので、データ分析基盤構築をどのように進めたらよいかわ
Workload Identity 連携を利用して GitHub Actions を動かす
2023/04/14
ブックマーク
こんにちは、SREディビジョンの松島です。 この記事では Workload Identity 連携の機能紹介と、GitHub Actions から Google Cloud を操作するハンズオンを行います。 Workload Identity 連携とは 外部のワークロードに対して Google Cloud のサービスアカウントの権限を利用させることができる機能です。 AWSや、OpenID Connect、SAML 2.0 について Workload Identity による ID の連携が可能となっています
Cloud Spannerの「細かいアクセス制御」とは
2023/04/11
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の森です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調
Cloud Armor 事前構成 WAF ルールの適用手順
2023/04/07
ブックマーク
こんにちは、クラウドエース SRE ディビジョンの松島です。 今回は Cloud Armor の事前構成 WAF ルールの機能紹介と、実際にサービスに適用する際のルールの調整に関する記事を投稿します。 Cloud Armorとは Cloud Armor は Google Cloud が提供するマネージド WAF です。 保護ルールをセキュリティポリシーとして定義し、ロードバランサの背後のアプリケーションに紐づけることで DDoS
Cloud BuildでPATを使ったgitサブモジュールの利用方法
2023/04/07
ブックマーク
要約 クラウドエースの北野です。 Google CloudのCloud BuildでGitHubのプライベートリポジトリをサブモジュールとして使う方法を紹介します。本記事では、プライベートリポジトリの認証にGitHubのPersonal Access Token (PAT)を使います。 Google CloudでのPATの管理方法、Cloud Buildで認証情報の持たせ方と認証情報の内容は以下となります。 PATの管理方法: Secret Managerで管理 Cloud Buildでの認
Cloud Spanner のGoogleSQL句に新しく追加されたARRAY関数とLambda式
2023/04/06
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の永山です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを
Cloud Buildのプライベートプールでのビルドの実行方法
2023/04/04
ブックマーク
要約 クラウドエースの北野です。 Cloud Buildのビルドをプライベートプールで実行する方法を紹介します。 プライベートプールでのビルド実行の流れは、以下の通りとなります。 プライベートプールの作成 ビルド構成ファイルの実行環境の箇所にプライベートプールの指定 ビルド構成ファイルの定義する箇所: options.pool.name プライベートプールのIDの形式: projects/<PROJECT_
Zodで既存の型をプロパティに指定したい
2023/03/30
ブックマーク
はじめに こんにちは、クラウドエースの伊藝です。 変数を any として扱うと、プログラムを自由に書くことができます。 しかし、any を使いすぎると型周りでエラーが発生し、プログラムが意図しない動作をしてしまう可能性があります。 それを防ぐために TypeScript や、型をバリデーションするライブラリが開発されています。 バリデーションライブラリの 1 つに Zod が
Lookerの動的ディメンションの利用
2023/03/27
ブックマーク
クラウドエースの穂戸田と申します。 本記事では、パラメータの値に対応する動的ディメンションを作成し、 利用方法として動的な集計範囲の変更を一例としてまとめてみました。 「Lookerを最近使い始めたよ〜」くらいの人にちょうどいい内容だと思います。 やりたいこと 選択された集計範囲に応じてグラフの軸が動的に変更されるようにしたい 今回は例として、12ヶ
GKE クラスタの自動スケーリング機能の紹介
2023/03/23
ブックマーク
こんにちは、クラウドエース SRE ディビジョンの松島です。 本記事では GKE のノード自動管理機能であるクラスタの自動スケーリングとノードの自動プロビジョニングについて、機能の紹介と簡単な動作の検証を行い、それぞれの機能の用途について考えていきたいと思います。 目次 機能紹介 動かしてみる 機能の用途 おわりに 1. 機能紹介 それぞれ、 クラスタの自動ス