クラウドエース の技術ブログ
全559件
Dataformで、BigQueryのデータのテストをする
2023/05/22
ブックマーク
初めまして、Data/ML ディビジョンのオーディンです。 本記事では、Dataformで、BigQueryのデータをテストする方法を紹介します。 はじめに データの品質を保証するために、BigQueryのデータが想定通りかテストしたい場面は多いですが、下記のような理由で、テストが導入しにくい状況でした。 テスト用のフレームワークがないため、assert句などを使い自分でテスト用のSQLを
Vertex AIのGenerative AIサポートの概要
2023/05/19
ブックマーク
こんにちは、クラウドエース データML ディビジョン所属の源です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、 毎週Google Cloudの新規リリースを調査・発表し、デ
Container Registry の廃止予定と Artifact Registry への移行について
2023/05/19
ブックマーク
こんにちは。クラウドエースの阿部です。 このブログ記事では、 Container Registry の廃止予定と、 Artifact Registry への移行について紹介したいと思います。 Container Registry の廃止予定について 2023 年 5 月 15 日に、 Container Registry の廃止に関するスケジュールがリリースノートで公開されました。リリースノートはこちらを参照してください。 現在は非推奨の段階であり、2024
BigQuery EditionsとAutoscalingについて
2023/05/18
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の穂戸田です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査
Previewになった Vertex AI Model Garden について
2023/05/17
ブックマーク
こんにちは。クラウドエース データ/ML ディビジョン所属の篠田です。 Vertex AI Model Garden が2023/05/10にPreviewになりました。 この記事ではVertex AI Model Garden についての概要をご紹介します。 Vertex AI Model Garden の概要 Vertex AI Model Garden は、事前構築済みの機械学習モデルが集約されており、エンタープライズ対応の基盤モデル、タスク固有のモデル、およびAPIを提供するプラッ
Cloud Run でマルチコンテナが利用可能になったのでマニフェストサンプルを添えて機能を紹介
2023/05/17
ブックマーク
はじめに こんにちは。クラウドエース株式会社で SRE をしている間瀬です。 Zenn でのブログ投稿は初めてとなりますが、よろしくお願いします。 本記事にてご紹介する内容は、2023/5/16に Public Preview となった Google Cloud のサービスとなる Cloud Run のマルチコンテナデプロイについてです。 Cloud Runについて 既にご存知の方も多いと思いますが、Cloud Run というサービスについ
GKE 上のアプリケーションと他サービス上のアプリケーションを同じロードバランサで公開する
2023/05/17
ブックマーク
こんにちは、SRE ディビジョンの松島です。 この記事ではスタンドアロン NEG という機能を用いて、GKE 上のアプリケーションを GCE / Cloud Run など他のサービス上で動くアプリケーションと同一のロードバランサで公開する方法を紹介を紹介します。 スタンドアロン NEG について NEG とは NEG(Network Endpoint Group)は、主にコンテナでデプロイされたアプリケーションのエンドポイ
Cloud Functions（2nd gen）と Cloud Run の関係性を知る
2023/05/16
ブックマーク
はじめに こんにちは、クラウドエース SRE ディビジョン の小堀内です。 最近は、Cloud Run に関するブログ記事を書いたり、Cloud Firestore へのドキュメント追加、Firebase Authentication へのユーザー追加等をトリガーとしたサービスを Cloud Functions にデプロイしたりしていました。 そこで今回は、似ているプロダクトである Cloud Functions（2nd gen）と Cloud Run の関係性について理解を
BigQueryのDynamic Data Maskingの機能が更新されました
2023/05/16
ブックマーク
はじめに こんにちは！クラウドエース データML ディビジョン所属の住吉と申します。 データML ディビジョンとはクラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門としております。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリー
Cloud Storage FUSEでバケットをローカルファイルシステムとしてマウントする
2023/05/15
ブックマーク
こんにちは、クラウドエース データML ディビジョン所属の源です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloudの新規リリースを調査・発表し、デー
Dataprocを利用してPySparkを触ってみた(feat.Jupyter Notebook)
2023/05/12
ブックマーク
はじめに こんにちは、クラウドエース データ/MLディビジョン所属の金です。 最近ビッグデータの重要度が高くなっているのでビッグデータ処理ができるさまざまな方法の一つのPySparkを試してみます。 今回はGoogle CloudサービスのDataprocでクラスタを起動し、そこからJupyter Notebookを起動してPySparkを試してみます。 Cloud Dataprocとは？ Dataprocは、「Apache Hadoop、Apache Sparkなどの
一般提供された Cloud Workstations の更新まとめ (2023年5月)
2023/05/10
ブックマーク
こんにちは。クラウドエースの阿部です。 この記事では以前紹介した Google Cloud の開発環境サービスである Cloud Workstations について説明します。 前回の紹介記事は下記リンクからご覧下さい。 https://zenn.dev/cloud_ace/articles/889f7b6619ba76 ! 2023年5月11日に Google I/O 2023 で Cloud Workstations が一般提供(General Availability)になったことが発表されました。 タイトルと記事内容を一部加筆修
Cloud Run に Golang のAPI サービスをデプロイしてみた
2023/04/26
ブックマーク
こんにちは、クラウドエース SRE ディビジョン の小堀内です。 最近、Google Cloud の学習の一環として、Golang で作成した API サービスを Cloud Run にデプロイしてみました。 その結果のアウトプットとして、本記事を執筆することにしました。 Cloud Run とは Cloud Run の特徴を簡単にまとめると次のものが挙げられます。 サーバーレス の コンピューティングサービス サーバー管
Dataflow Prime のバッチジョブで垂直スケールする方法
2023/04/21
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の坂田です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリース
Cloud SQL for PostgreSQLでリードレプリカのサイズをプライマリインスタンスより小さくできるようになりました
2023/04/21
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の田中です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを