はじめに こんにちは、クラウドエース データML ディビジョン所属のディエゴです。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは2023年4月11日のBatchのリリースです。 https

はじめに こんにちは。クラウドエース株式会社で SRE をしている間瀬です。 今回は先日紹介したCloud Run のマルチコンテナデプロイ機能に関連してサイドカーコンテナとして Envoy と Open Policy Agent (以下、OPA) をデプロイして認証認可を行う方法を紹介します。 また、認証については今回は Keycloak を使って Open ID Connect (以下、OIDC) による認証を行います。 Cloud Run のマルチコンテナデプロイ機能については以下の記事で紹介しています。 現在ご覧いただいている記事執筆時点においてもマルチコンテナデプロイ機能は

初めに こんにちは。クラウドエースバックエンドディビジョンの王です。 待望のCloud Workstationsがついに2023年5月11日に一般提供（General Availability）になりました。この記事では、私が実際にCloud Workstationsを使用して開発を行った経験について紹介します。 Cloud Workstationsとは Cloud Workstationsの概要については下記の記事で紹介していますので、リンク先をご参照ください。 https://zenn.dev/cloud_ace/articles/925c11d6601324 実は、私は今V

Terraform利用のお供にtfsecをおすすめしたい みなさん、こんにちは。 クラウドエースでいつだってごきげんをキャッチフレーズにSREをしている、長野と申します。 今回はtfsecを使ってみたので、その紹介をさせて頂きたいと思います。 ちなみにtfsecは、Terraformのコードをセキュリティ上の問題や一般的なベストプラクティスに基づいてスキャンする静的解析ツールです。 aquasecurity/tfsec: Security scanner for your Terraform code どんなチェックができるのか 今回はTerraformでGoogle Cloud

クラウドエースData/MLディビジョン所属のおでんです。 今回は、データ分析基盤構築・運用の支援 SaaS である trocco® のdbt連携機能を使用して、 trocco® のワークフローとdbtジョブを連携してみたので、手順と感想をまとめました。 trocco®とは trocco®は、ELT/データ転送・データマート生成・ジョブ管理・データガバナンスなどの データエンジニアリング領域をカバーした、分析基盤構築・運用の支援SaaSです。 今回は、dbt連携機能を使用して、 trocco® のワークフローとdbtジョブを連携してみます。 https://trocco.io/lp/

はじめに こんにちは、クラウドエース データ/MLディビジョン所属の金です。 私は海外旅行を行ったり、日常生活でもたまにGoogle翻訳機を使っています。 翻訳結果については大体満足しているんですが、たまに固有名詞などの翻訳は変だなと思った記憶もあります。 最近Cloud Translation APIで用語集機能があるのに気づいてどんな結果が出るかやってみたいなと思いました。 Cloud Translastionのオプションには現在「Translation API Basic、Translation API Advanced、AutoML Translation」の三つがあります。

クラウドエースData/MLディビジョン所属のODRです。 今回は、データ分析基盤構築・運用の支援 SaaS である trocco® のワークフロー機能を使用して、GUIでワークフローを作成してみたので、手順と感想をまとめました。 最後に、Google Cloud のワークフロー管理ツールとの比較も行いました。 trocco とは trocco®は、ELT/データ転送・データマート生成・ジョブ管理・データガバナンスなどの データエンジニアリング領域をカバーした、分析基盤構築・運用の支援SaaSです。 https://trocco.io/lp/index.html 今回は、ワークフロー

クラウドエース北野です。 先週、真夏日も数日あり、大変暑くなってきましたが、体調を崩されていないでしょうか。 5月第3週(5/15 ~ 5/19)のGoogle Cloudのリリースに関する注目ニュースは以下になります。 Cloud Logging Log Analiticsの以下の機能が拡張され、セキュアかつ利便性が向上されました。 クエリする時間範囲の指定が可能になりました。 CMEK化されたログバケットを対応するようになりました。 クエリする時間範囲は、 timestamp フィールドを WHERE 句に追加することで指定できます。 時間の指定が可能になると、より効果的

はじめに こんにちは、クラウドエース データML ディビジョン所属の中村です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、BigQueryの「Non-incremental Materi

初めまして、Data/ML ディビジョンのオーディンです。 本記事では、Dataformで、BigQueryのデータをテストする方法を紹介します。 はじめに データの品質を保証するために、BigQueryのデータが想定通りかテストしたい場面は多いですが、下記のような理由で、テストが導入しにくい状況でした。 テスト用のフレームワークがないため、assert句などを使い自分でテスト用のSQLを組む必要があった 公式のエミュレータがないため、テストを行うには本物のBigQueryにクエリする必要があり、クエリの実行時間・費用を考慮すると、CIに組み込んでテストを頻繁に実行するのが現実的で

こんにちは、クラウドエース データML ディビジョン所属の源です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、 毎週Google Cloudの新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回、ご紹介するリリースは2023年6月8日付で一般提供されたVertex AIのGenerative

こんにちは。クラウドエースの阿部です。 このブログ記事では、 Container Registry の廃止予定と、 Artifact Registry への移行について紹介したいと思います。 Container Registry の廃止予定について 2023 年 5 月 15 日に、 Container Registry の廃止に関するスケジュールがリリースノートで公開されました。リリースノートはこちらを参照してください。 現在は非推奨の段階であり、2024 年 5 月 15 日までは変わらずに Container Registry を使用することが可能です。 ただし、Contain

はじめに こんにちは、クラウドエース データML ディビジョン所属の穂戸田です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、2023年 3月 29日のBigQuery Editionsと

こんにちは。クラウドエース データ/ML ディビジョン所属の篠田です。 Vertex AI Model Garden が2023/05/10にPreviewになりました。 この記事ではVertex AI Model Garden についての概要をご紹介します。 Vertex AI Model Garden の概要 Vertex AI Model Garden は、事前構築済みの機械学習モデルが集約されており、エンタープライズ対応の基盤モデル、タスク固有のモデル、およびAPIを提供するプラットフォームです。 機械学習モデルの構築とデプロイのプロセスを簡素化するように設計されています。

はじめに こんにちは。クラウドエース株式会社で SRE をしている間瀬です。 Zenn でのブログ投稿は初めてとなりますが、よろしくお願いします。 本記事にてご紹介する内容は、2023/5/16に Public Preview となった Google Cloud のサービスとなる Cloud Run のマルチコンテナデプロイについてです。 Cloud Runについて 既にご存知の方も多いと思いますが、Cloud Run というサービスについて簡単に触れさせていただきます。 Cloud Run は Google Cloud が提供する Knative ベースのコンテナ実行環境サービ

こんにちは、SRE ディビジョンの松島です。 この記事ではスタンドアロン NEG という機能を用いて、GKE 上のアプリケーションを GCE / Cloud Run など他のサービス上で動くアプリケーションと同一のロードバランサで公開する方法を紹介を紹介します。 スタンドアロン NEG について NEG とは NEG(Network Endpoint Group)は、主にコンテナでデプロイされたアプリケーションのエンドポイントを束ねる役割を持つもので、LB のバックエンドサービスとして利用されます。 複数種類がありますが、GKE でのサービス公開で利用されるのは主にゾーン NEG

はじめに こんにちは、クラウドエース SRE ディビジョン の小堀内です。 最近は、Cloud Run に関するブログ記事を書いたり、Cloud Firestore へのドキュメント追加、Firebase Authentication へのユーザー追加等をトリガーとしたサービスを Cloud Functions にデプロイしたりしていました。 そこで今回は、似ているプロダクトである Cloud Functions（2nd gen）と Cloud Run の関係性について理解を深めるために本記事を執筆することにしました。 Cloud Functions（2nd gen）とは？ ま

はじめに こんにちは！クラウドエース データML ディビジョン所属の住吉と申します。 データML ディビジョンとはクラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門としております。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、「BigQueryのDynamic Data Mask

こんにちは、クラウドエース データML ディビジョン所属の源です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloudの新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回、ご紹介するリリースは2023年4月5日付に発表されたCloud Storage FUSEについてです

はじめに こんにちは、クラウドエース データ/MLディビジョン所属の金です。 最近ビッグデータの重要度が高くなっているのでビッグデータ処理ができるさまざまな方法の一つのPySparkを試してみます。 今回はGoogle CloudサービスのDataprocでクラスタを起動し、そこからJupyter Notebookを起動してPySparkを試してみます。 Cloud Dataprocとは？ Dataprocは、「Apache Hadoop、Apache Sparkなどのクラスタを簡単かつ効率が高い方法で実行するための」フルマネージドサービスです。 簡単に言うとビッグデータ処理・分