はじめに こんにちは、クラウドエース データ/MLディビジョン所属の金です。 最近ビッグデータの重要度が高くなっているのでビッグデータ処理ができるさまざまな方法の一つのPySparkを試してみます。 今回はGoogle CloudサービスのDataprocでクラスタを起動し、そこからJupyter Notebookを起動してPySparkを試してみます。 Cloud Dataprocとは？ Dataprocは、「Apache Hadoop、Apache Sparkなどのクラスタを簡単かつ効率が高い方法で実行するための」フルマネージドサービスです。 簡単に言うとビッグデータ処理・分

こんにちは。クラウドエースの阿部です。 この記事では以前紹介した Google Cloud の開発環境サービスである Cloud Workstations について説明します。 前回の紹介記事は下記リンクからご覧下さい。 https://zenn.dev/cloud_ace/articles/889f7b6619ba76 ! 2023年5月11日に Google I/O 2023 で Cloud Workstations が一般提供(General Availability)になったことが発表されました。 タイトルと記事内容を一部加筆修正しました。 前回紹介から追加された主な機能

こんにちは、クラウドエース SRE ディビジョン の小堀内です。 最近、Google Cloud の学習の一環として、Golang で作成した API サービスを Cloud Run にデプロイしてみました。 その結果のアウトプットとして、本記事を執筆することにしました。 Cloud Run とは Cloud Run の特徴を簡単にまとめると次のものが挙げられます。 サーバーレス の コンピューティングサービス サーバー管理が不要なので開発者はアプリケーションのコードに集中することができる 自動スケーリング機能 アプリケーションの負荷に合わせて自動的にコンテナーを起動／停

はじめに こんにちは、クラウドエース データML ディビジョン所属の坂田です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。 その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、「Dataflow Prime のバッチジョブの垂

はじめに こんにちは、クラウドエース データML ディビジョン所属の田中です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、「Cloud SQL for PostgreSQL にて

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の池上です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンになります。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、BigQuery の「WITH RECURSI

こんにちは！クラウドエースの小坂と申します。✨ データウェアハウス構築に関して、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーを積極的に担当しております。 さて、タイトルにもある通り、Looker のリリースノートが Google Cloud のリリースノートシステムに統合されたことをお知らせいたします！🎉 これまで Looker のリリースノートは他の Google Cloud サービスとは異なる形式で、以下のような形で提供されていました。 各バージョンのリリース内容のハイライト https://cloud.google.com/looker

こんにちは。クラウドエースの阿部です。 この記事では、Google Kubernetes Engine (GKE)における k8s.gcr.io 廃止の影響について調査したことをまとめています。 k8s.gcr.io 廃止と registry.k8s.io への移行について 廃止の経緯 Kubernetes v1.25以降において、kube-system等で使用される標準のコンテナイメージは k8s.gcr.io から registry.k8s.io に変更されました。(v1.22, v1.23, v1.24にもバックポートされるようです。) また、 k8s.gcr.io は非推

クラウドエースData/MLディビジョン所属のODRです。 今回は、データ分析基盤構築・運用の支援 SaaS である trocco を使用して、SalesforceのデータをBigQueryに連携してみたので、手順と感想を記事にまとめてみました。 troccoを使用することで、簡単かつ迅速にSalesforceの複数のオブジェクトをBigQueryに連携することができたので、データ分析基盤構築をどのように進めたらよいかわからない初心者や、構築工数を削減したいデータエンジニアの参考になれば幸いです。 trocco とは trocco®は、ELT/データ転送・データマート生成・ジョブ管理

こんにちは、SREディビジョンの松島です。 この記事では Workload Identity 連携の機能紹介と、GitHub Actions から Google Cloud を操作するハンズオンを行います。 Workload Identity 連携とは 外部のワークロードに対して Google Cloud のサービスアカウントの権限を利用させることができる機能です。 AWSや、OpenID Connect、SAML 2.0 について Workload Identity による ID の連携が可能となっています。 Workload Identity 連携のいいところ サービスアカウ

はじめに こんにちは、クラウドエース データML ディビジョン所属の森です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、Cloud Spannerの「細かいアクセス制御」についてに

こんにちは、クラウドエース SRE ディビジョンの松島です。 今回は Cloud Armor の事前構成 WAF ルールの機能紹介と、実際にサービスに適用する際のルールの調整に関する記事を投稿します。 Cloud Armorとは Cloud Armor は Google Cloud が提供するマネージド WAF です。 保護ルールをセキュリティポリシーとして定義し、ロードバランサの背後のアプリケーションに紐づけることで DDoS や XSS などの各種攻撃から Web アプリケーションを保護することができます。 Cloud Armor 事前構成 WAF ルールとは 概要 オー

要約 クラウドエースの北野です。 Google CloudのCloud BuildでGitHubのプライベートリポジトリをサブモジュールとして使う方法を紹介します。本記事では、プライベートリポジトリの認証にGitHubのPersonal Access Token (PAT)を使います。 Google CloudでのPATの管理方法、Cloud Buildで認証情報の持たせ方と認証情報の内容は以下となります。 PATの管理方法: Secret Managerで管理 Cloud Buildでの認証方法の持たせ方: ~/.git-credentialsに定義 ~/.git-creden

はじめに こんにちは、クラウドエース データML ディビジョン所属の永山です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、「Cloud Spanner のGoogleSQL句に新し

要約 クラウドエースの北野です。 Cloud Buildのビルドをプライベートプールで実行する方法を紹介します。 プライベートプールでのビルド実行の流れは、以下の通りとなります。 プライベートプールの作成 ビルド構成ファイルの実行環境の箇所にプライベートプールの指定 ビルド構成ファイルの定義する箇所: options.pool.name プライベートプールのIDの形式: projects/<PROJECT_ID>/locations/<REGION>/workerPools/<PRIVATEPOOL_NAME> ビルド構成ファイルからビ

はじめに こんにちは、クラウドエースの伊藝です。 変数を any として扱うと、プログラムを自由に書くことができます。 しかし、any を使いすぎると型周りでエラーが発生し、プログラムが意図しない動作をしてしまう可能性があります。 それを防ぐために TypeScript や、型をバリデーションするライブラリが開発されています。 バリデーションライブラリの 1 つに Zod があります。 Zod の基本的な紹介としては以下の記事が分かりやすく参考になるかと思います。 TypeScript のゾッとする話 ~ Zod の紹介 ~ Zod のつらいとこ Zod は独自のスキーマを定義し

クラウドエースの穂戸田と申します。 本記事では、パラメータの値に対応する動的ディメンションを作成し、 利用方法として動的な集計範囲の変更を一例としてまとめてみました。 「Lookerを最近使い始めたよ〜」くらいの人にちょうどいい内容だと思います。 やりたいこと 選択された集計範囲に応じてグラフの軸が動的に変更されるようにしたい 今回は例として、12ヶ月/5週間のパラメータを設置し、 12ヶ月が選択された場合は1ヶ月単位12ヶ月分のデータを取得、 5週間が選択された場合は1週間単位で5週間分のデータを取得できるようにします。 集計範囲それぞれに対応したグラフの作成例は以下の通りです。

こんにちは、クラウドエース SRE ディビジョンの松島です。 本記事では GKE のノード自動管理機能であるクラスタの自動スケーリングとノードの自動プロビジョニングについて、機能の紹介と簡単な動作の検証を行い、それぞれの機能の用途について考えていきたいと思います。 目次 機能紹介 動かしてみる 機能の用途 おわりに 1. 機能紹介 それぞれ、 クラスタの自動スケーリング：　ノードプール内でノードを増減させる機能 ノードの自動プロビジョニング：　ノードプール自体を増減させる機能 となります。 以下もう少し細かい紹介です。 1-1. クラスタの自動スケーリング ノードプ

クラウドエース SRE ディビジョンの松島です。 今回はGKEの追加機能である Config Connector について、調査及び動かしてみた結果を投稿します。 目次 Config Connector とは Config Connector でできること Config Connector を試してみる Config Connector の使い所 最後に Config Connectorとは Config Connector は、 Kubernetes を使用して Google Cloud リソースをするための Kubernetes アドオンです。 Config Conn

こんにちは。 クラウドエースの梅田です。 2022年10月に Cloud Build Security Insights という機能がプレビューとなりました。 本記事では、Supply-chain Levels for Software Artifacts (SLSA) に注目しながら Cloud Build Security Insights で何ができるのかを説明していきたいと思います。 Supply-chain Levels for Software Artifacts (SLSA) とは そもそも SLSA とは何かを確認したいと思います。 SLSA とはソフトウェアサプライ