クラウドエース の技術ブログ

Dataformで、BigQueryのデータのテストをする

初めまして、Data/ML ディビジョンのオーディンです。 本記事では、Dataformで、BigQueryのデータをテストする方法を紹介します。 はじめに データの品質を保証するために、BigQueryのデータが想定通りかテストしたい場面は多いですが、下記のような理由で、テストが導入しにくい状況でした。 テスト用のフレームワークがないため、assert句などを使い自分でテスト用のSQLを

Vertex AIのGenerative AIサポートの概要

こんにちは、クラウドエース データML ディビジョン所属の源です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、 毎週Google Cloudの新規リリースを調査・発表し、デ

Container Registry の廃止予定と Artifact Registry への移行について

こんにちは。クラウドエースの阿部です。 このブログ記事では、 Container Registry の廃止予定と、 Artifact Registry への移行について紹介したいと思います。 Container Registry の廃止予定について 2023 年 5 月 15 日に、 Container Registry の廃止に関するスケジュールがリリースノートで公開されました。リリースノートはこちらを参照してください。 現在は非推奨の段階であり、2024

BigQuery EditionsとAutoscalingについて

はじめに こんにちは、クラウドエース データML ディビジョン所属の穂戸田です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査

Previewになった Vertex AI Model Garden について

こんにちは。クラウドエース データ/ML ディビジョン所属の篠田です。 Vertex AI Model Garden が2023/05/10にPreviewになりました。 この記事ではVertex AI Model Garden についての概要をご紹介します。 Vertex AI Model Garden の概要 Vertex AI Model Garden は、事前構築済みの機械学習モデルが集約されており、エンタープライズ対応の基盤モデル、タスク固有のモデル、およびAPIを提供するプラッ

Cloud Run でマルチコンテナが利用可能になったのでマニフェストサンプルを添えて機能を紹介

はじめに こんにちは。クラウドエース株式会社で SRE をしている間瀬です。 Zenn でのブログ投稿は初めてとなりますが、よろしくお願いします。 本記事にてご紹介する内容は、2023/5/16に Public Preview となった Google Cloud のサービスとなる Cloud Run のマルチコンテナデプロイについてです。 Cloud Runについて 既にご存知の方も多いと思いますが、Cloud Run というサービスについ

GKE 上のアプリケーションと他サービス上のアプリケーションを同じロードバランサで公開する

こんにちは、SRE ディビジョンの松島です。 この記事ではスタンドアロン NEG という機能を用いて、GKE 上のアプリケーションを GCE / Cloud Run など他のサービス上で動くアプリケーションと同一のロードバランサで公開する方法を紹介を紹介します。 スタンドアロン NEG について NEG とは NEG(Network Endpoint Group)は、主にコンテナでデプロイされたアプリケーションのエンドポイ

Cloud Functions(2nd gen)と Cloud Run の関係性を知る

はじめに こんにちは、クラウドエース SRE ディビジョン の小堀内です。 最近は、Cloud Run に関するブログ記事を書いたり、Cloud Firestore へのドキュメント追加、Firebase Authentication へのユーザー追加等をトリガーとしたサービスを Cloud Functions にデプロイしたりしていました。 そこで今回は、似ているプロダクトである Cloud Functions(2nd gen)と Cloud Run の関係性について理解を

BigQueryのDynamic Data Maskingの機能が更新されました

はじめに こんにちは!クラウドエース データML ディビジョン所属の住吉と申します。 データML ディビジョンとはクラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門としております。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリー

Cloud Storage FUSEでバケットをローカルファイルシステムとしてマウントする

こんにちは、クラウドエース データML ディビジョン所属の源です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloudの新規リリースを調査・発表し、デー

Dataprocを利用してPySparkを触ってみた(feat.Jupyter Notebook)

はじめに こんにちは、クラウドエース データ/MLディビジョン所属の金です。 最近ビッグデータの重要度が高くなっているのでビッグデータ処理ができるさまざまな方法の一つのPySparkを試してみます。 今回はGoogle CloudサービスのDataprocでクラスタを起動し、そこからJupyter Notebookを起動してPySparkを試してみます。 Cloud Dataprocとは? Dataprocは、「Apache Hadoop、Apache Sparkなどの

一般提供された Cloud Workstations の更新まとめ (2023年5月)

こんにちは。クラウドエースの阿部です。 この記事では以前紹介した Google Cloud の開発環境サービスである Cloud Workstations について説明します。 前回の紹介記事は下記リンクからご覧下さい。 https://zenn.dev/cloud_ace/articles/889f7b6619ba76 ! 2023年5月11日に Google I/O 2023 で Cloud Workstations が一般提供(General Availability)になったことが発表されました。 タイトルと記事内容を一部加筆修

Cloud Run に Golang のAPI サービスをデプロイしてみた

こんにちは、クラウドエース SRE ディビジョン の小堀内です。 最近、Google Cloud の学習の一環として、Golang で作成した API サービスを Cloud Run にデプロイしてみました。 その結果のアウトプットとして、本記事を執筆することにしました。 Cloud Run とは Cloud Run の特徴を簡単にまとめると次のものが挙げられます。 サーバーレス の コンピューティングサービス サーバー管
Go, Java, SQL

Dataflow Prime のバッチジョブで垂直スケールする方法

はじめに こんにちは、クラウドエース データML ディビジョン所属の坂田です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリース

Cloud SQL for PostgreSQLでリードレプリカのサイズをプライマリインスタンスより小さくできるようになりました

はじめに こんにちは、クラウドエース データML ディビジョン所属の田中です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを