こんにちは。クラウドエース データ/ML ディビジョン所属の篠田です。 Vertex AI Model Garden が2023/05/10にPreviewになりました。 この記事ではVertex AI Model Garden についての概要をご紹介します。 Vertex AI Model Garden の概要 Vertex AI Model Garden は、事前構築済みの機械学習モデルが集約されており、エンタープライズ対応の基盤モデル、タスク固有のモデル、およびAPIを提供するプラットフォームです。 機械学習モデルの構築とデプロイのプロセスを簡素化するように設計されています。

はじめに こんにちは。クラウドエース株式会社で SRE をしている間瀬です。 Zenn でのブログ投稿は初めてとなりますが、よろしくお願いします。 本記事にてご紹介する内容は、2023/5/16に Public Preview となった Google Cloud のサービスとなる Cloud Run のマルチコンテナデプロイについてです。 Cloud Runについて 既にご存知の方も多いと思いますが、Cloud Run というサービスについて簡単に触れさせていただきます。 Cloud Run は Google Cloud が提供する Knative ベースのコンテナ実行環境サービ

こんにちは、SRE ディビジョンの松島です。 この記事ではスタンドアロン NEG という機能を用いて、GKE 上のアプリケーションを GCE / Cloud Run など他のサービス上で動くアプリケーションと同一のロードバランサで公開する方法を紹介を紹介します。 スタンドアロン NEG について NEG とは NEG(Network Endpoint Group)は、主にコンテナでデプロイされたアプリケーションのエンドポイントを束ねる役割を持つもので、LB のバックエンドサービスとして利用されます。 複数種類がありますが、GKE でのサービス公開で利用されるのは主にゾーン NEG

はじめに こんにちは、クラウドエース SRE ディビジョン の小堀内です。 最近は、Cloud Run に関するブログ記事を書いたり、Cloud Firestore へのドキュメント追加、Firebase Authentication へのユーザー追加等をトリガーとしたサービスを Cloud Functions にデプロイしたりしていました。 そこで今回は、似ているプロダクトである Cloud Functions（2nd gen）と Cloud Run の関係性について理解を深めるために本記事を執筆することにしました。 Cloud Functions（2nd gen）とは？ ま

はじめに こんにちは！クラウドエース データML ディビジョン所属の住吉と申します。 データML ディビジョンとはクラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門としております。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、「BigQueryのDynamic Data Mask

こんにちは、クラウドエース データML ディビジョン所属の源です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloudの新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回、ご紹介するリリースは2023年4月5日付に発表されたCloud Storage FUSEについてです

はじめに こんにちは、クラウドエース データ/MLディビジョン所属の金です。 最近ビッグデータの重要度が高くなっているのでビッグデータ処理ができるさまざまな方法の一つのPySparkを試してみます。 今回はGoogle CloudサービスのDataprocでクラスタを起動し、そこからJupyter Notebookを起動してPySparkを試してみます。 Cloud Dataprocとは？ Dataprocは、「Apache Hadoop、Apache Sparkなどのクラスタを簡単かつ効率が高い方法で実行するための」フルマネージドサービスです。 簡単に言うとビッグデータ処理・分

こんにちは。クラウドエースの阿部です。 この記事では以前紹介した Google Cloud の開発環境サービスである Cloud Workstations について説明します。 前回の紹介記事は下記リンクからご覧下さい。 https://zenn.dev/cloud_ace/articles/889f7b6619ba76 ! 2023年5月11日に Google I/O 2023 で Cloud Workstations が一般提供(General Availability)になったことが発表されました。 タイトルと記事内容を一部加筆修正しました。 前回紹介から追加された主な機能

こんにちは、クラウドエース SRE ディビジョン の小堀内です。 最近、Google Cloud の学習の一環として、Golang で作成した API サービスを Cloud Run にデプロイしてみました。 その結果のアウトプットとして、本記事を執筆することにしました。 Cloud Run とは Cloud Run の特徴を簡単にまとめると次のものが挙げられます。 サーバーレス の コンピューティングサービス サーバー管理が不要なので開発者はアプリケーションのコードに集中することができる 自動スケーリング機能 アプリケーションの負荷に合わせて自動的にコンテナーを起動／停

はじめに こんにちは、クラウドエース データML ディビジョン所属の坂田です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。 その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、「Dataflow Prime のバッチジョブの垂

はじめに こんにちは、クラウドエース データML ディビジョン所属の田中です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、「Cloud SQL for PostgreSQL にて

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の池上です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンになります。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、BigQuery の「WITH RECURSI

こんにちは！クラウドエースの小坂と申します。✨ データウェアハウス構築に関して、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーを積極的に担当しております。 さて、タイトルにもある通り、Looker のリリースノートが Google Cloud のリリースノートシステムに統合されたことをお知らせいたします！🎉 これまで Looker のリリースノートは他の Google Cloud サービスとは異なる形式で、以下のような形で提供されていました。 各バージョンのリリース内容のハイライト https://cloud.google.com/looker

こんにちは。クラウドエースの阿部です。 この記事では、Google Kubernetes Engine (GKE)における k8s.gcr.io 廃止の影響について調査したことをまとめています。 k8s.gcr.io 廃止と registry.k8s.io への移行について 廃止の経緯 Kubernetes v1.25以降において、kube-system等で使用される標準のコンテナイメージは k8s.gcr.io から registry.k8s.io に変更されました。(v1.22, v1.23, v1.24にもバックポートされるようです。) また、 k8s.gcr.io は非推

クラウドエースData/MLディビジョン所属のODRです。 今回は、データ分析基盤構築・運用の支援 SaaS である trocco を使用して、SalesforceのデータをBigQueryに連携してみたので、手順と感想を記事にまとめてみました。 troccoを使用することで、簡単かつ迅速にSalesforceの複数のオブジェクトをBigQueryに連携することができたので、データ分析基盤構築をどのように進めたらよいかわからない初心者や、構築工数を削減したいデータエンジニアの参考になれば幸いです。 trocco とは trocco®は、ELT/データ転送・データマート生成・ジョブ管理

こんにちは、SREディビジョンの松島です。 この記事では Workload Identity 連携の機能紹介と、GitHub Actions から Google Cloud を操作するハンズオンを行います。 Workload Identity 連携とは 外部のワークロードに対して Google Cloud のサービスアカウントの権限を利用させることができる機能です。 AWSや、OpenID Connect、SAML 2.0 について Workload Identity による ID の連携が可能となっています。 Workload Identity 連携のいいところ サービスアカウ

はじめに こんにちは、クラウドエース データML ディビジョン所属の森です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、Cloud Spannerの「細かいアクセス制御」についてに

こんにちは、クラウドエース SRE ディビジョンの松島です。 今回は Cloud Armor の事前構成 WAF ルールの機能紹介と、実際にサービスに適用する際のルールの調整に関する記事を投稿します。 Cloud Armorとは Cloud Armor は Google Cloud が提供するマネージド WAF です。 保護ルールをセキュリティポリシーとして定義し、ロードバランサの背後のアプリケーションに紐づけることで DDoS や XSS などの各種攻撃から Web アプリケーションを保護することができます。 Cloud Armor 事前構成 WAF ルールとは 概要 オー

要約 クラウドエースの北野です。 Google CloudのCloud BuildでGitHubのプライベートリポジトリをサブモジュールとして使う方法を紹介します。本記事では、プライベートリポジトリの認証にGitHubのPersonal Access Token (PAT)を使います。 Google CloudでのPATの管理方法、Cloud Buildで認証情報の持たせ方と認証情報の内容は以下となります。 PATの管理方法: Secret Managerで管理 Cloud Buildでの認証方法の持たせ方: ~/.git-credentialsに定義 ~/.git-creden

はじめに こんにちは、クラウドエース データML ディビジョン所属の永山です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、「Cloud Spanner のGoogleSQL句に新し