クラウドエース北野です。 先週、真夏日も数日あり、大変暑くなってきましたが、体調を崩されていないでしょうか。 5月第3週(5/15 ~ 5/19)のGoogle Cloudのリリースに関する注目ニュースは以下になります。 Cloud Logging Log Analiticsの以下の機能が拡張され、セキュアかつ利便性が向上されました。 クエリする時間範囲の指定が可能になりました。 CMEK化されたログバケットを対応するようになりました。 クエリする時間範囲は、 timestamp フィールドを WHERE 句に追加することで指定できます。 時間の指定が可能になると、より効果的

はじめに こんにちは、クラウドエース データML ディビジョン所属の中村です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、BigQueryの「Non-incremental Materi

初めまして、Data/ML ディビジョンのオーディンです。 本記事では、Dataformで、BigQueryのデータをテストする方法を紹介します。 はじめに データの品質を保証するために、BigQueryのデータが想定通りかテストしたい場面は多いですが、下記のような理由で、テストが導入しにくい状況でした。 テスト用のフレームワークがないため、assert句などを使い自分でテスト用のSQLを組む必要があった 公式のエミュレータがないため、テストを行うには本物のBigQueryにクエリする必要があり、クエリの実行時間・費用を考慮すると、CIに組み込んでテストを頻繁に実行するのが現実的で

こんにちは、クラウドエース データML ディビジョン所属の源です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、 毎週Google Cloudの新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回、ご紹介するリリースは2023年6月8日付で一般提供されたVertex AIのGenerative

こんにちは。クラウドエースの阿部です。 このブログ記事では、 Container Registry の廃止予定と、 Artifact Registry への移行について紹介したいと思います。 Container Registry の廃止予定について 2023 年 5 月 15 日に、 Container Registry の廃止に関するスケジュールがリリースノートで公開されました。リリースノートはこちらを参照してください。 現在は非推奨の段階であり、2024 年 5 月 15 日までは変わらずに Container Registry を使用することが可能です。 ただし、Contain

はじめに こんにちは、クラウドエース データML ディビジョン所属の穂戸田です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、2023年 3月 29日のBigQuery Editionsと

こんにちは。クラウドエース データ/ML ディビジョン所属の篠田です。 Vertex AI Model Garden が2023/05/10にPreviewになりました。 この記事ではVertex AI Model Garden についての概要をご紹介します。 Vertex AI Model Garden の概要 Vertex AI Model Garden は、事前構築済みの機械学習モデルが集約されており、エンタープライズ対応の基盤モデル、タスク固有のモデル、およびAPIを提供するプラットフォームです。 機械学習モデルの構築とデプロイのプロセスを簡素化するように設計されています。

はじめに こんにちは。クラウドエース株式会社で SRE をしている間瀬です。 Zenn でのブログ投稿は初めてとなりますが、よろしくお願いします。 本記事にてご紹介する内容は、2023/5/16に Public Preview となった Google Cloud のサービスとなる Cloud Run のマルチコンテナデプロイについてです。 Cloud Runについて 既にご存知の方も多いと思いますが、Cloud Run というサービスについて簡単に触れさせていただきます。 Cloud Run は Google Cloud が提供する Knative ベースのコンテナ実行環境サービ

こんにちは、SRE ディビジョンの松島です。 この記事ではスタンドアロン NEG という機能を用いて、GKE 上のアプリケーションを GCE / Cloud Run など他のサービス上で動くアプリケーションと同一のロードバランサで公開する方法を紹介を紹介します。 スタンドアロン NEG について NEG とは NEG(Network Endpoint Group)は、主にコンテナでデプロイされたアプリケーションのエンドポイントを束ねる役割を持つもので、LB のバックエンドサービスとして利用されます。 複数種類がありますが、GKE でのサービス公開で利用されるのは主にゾーン NEG

はじめに こんにちは、クラウドエース SRE ディビジョン の小堀内です。 最近は、Cloud Run に関するブログ記事を書いたり、Cloud Firestore へのドキュメント追加、Firebase Authentication へのユーザー追加等をトリガーとしたサービスを Cloud Functions にデプロイしたりしていました。 そこで今回は、似ているプロダクトである Cloud Functions（2nd gen）と Cloud Run の関係性について理解を深めるために本記事を執筆することにしました。 Cloud Functions（2nd gen）とは？ ま

はじめに こんにちは！クラウドエース データML ディビジョン所属の住吉と申します。 データML ディビジョンとはクラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門としております。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、「BigQueryのDynamic Data Mask

こんにちは、クラウドエース データML ディビジョン所属の源です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloudの新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回、ご紹介するリリースは2023年4月5日付に発表されたCloud Storage FUSEについてです

はじめに こんにちは、クラウドエース データ/MLディビジョン所属の金です。 最近ビッグデータの重要度が高くなっているのでビッグデータ処理ができるさまざまな方法の一つのPySparkを試してみます。 今回はGoogle CloudサービスのDataprocでクラスタを起動し、そこからJupyter Notebookを起動してPySparkを試してみます。 Cloud Dataprocとは？ Dataprocは、「Apache Hadoop、Apache Sparkなどのクラスタを簡単かつ効率が高い方法で実行するための」フルマネージドサービスです。 簡単に言うとビッグデータ処理・分

こんにちは。クラウドエースの阿部です。 この記事では以前紹介した Google Cloud の開発環境サービスである Cloud Workstations について説明します。 前回の紹介記事は下記リンクからご覧下さい。 https://zenn.dev/cloud_ace/articles/889f7b6619ba76 ! 2023年5月11日に Google I/O 2023 で Cloud Workstations が一般提供(General Availability)になったことが発表されました。 タイトルと記事内容を一部加筆修正しました。 前回紹介から追加された主な機能

こんにちは、クラウドエース SRE ディビジョン の小堀内です。 最近、Google Cloud の学習の一環として、Golang で作成した API サービスを Cloud Run にデプロイしてみました。 その結果のアウトプットとして、本記事を執筆することにしました。 Cloud Run とは Cloud Run の特徴を簡単にまとめると次のものが挙げられます。 サーバーレス の コンピューティングサービス サーバー管理が不要なので開発者はアプリケーションのコードに集中することができる 自動スケーリング機能 アプリケーションの負荷に合わせて自動的にコンテナーを起動／停

はじめに こんにちは、クラウドエース データML ディビジョン所属の坂田です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。 その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、「Dataflow Prime のバッチジョブの垂

はじめに こんにちは、クラウドエース データML ディビジョン所属の田中です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、「Cloud SQL for PostgreSQL にて

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の池上です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンになります。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、BigQuery の「WITH RECURSI

こんにちは！クラウドエースの小坂と申します。✨ データウェアハウス構築に関して、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーを積極的に担当しております。 さて、タイトルにもある通り、Looker のリリースノートが Google Cloud のリリースノートシステムに統合されたことをお知らせいたします！🎉 これまで Looker のリリースノートは他の Google Cloud サービスとは異なる形式で、以下のような形で提供されていました。 各バージョンのリリース内容のハイライト https://cloud.google.com/looker

こんにちは。クラウドエースの阿部です。 この記事では、Google Kubernetes Engine (GKE)における k8s.gcr.io 廃止の影響について調査したことをまとめています。 k8s.gcr.io 廃止と registry.k8s.io への移行について 廃止の経緯 Kubernetes v1.25以降において、kube-system等で使用される標準のコンテナイメージは k8s.gcr.io から registry.k8s.io に変更されました。(v1.22, v1.23, v1.24にもバックポートされるようです。) また、 k8s.gcr.io は非推