はじめに こんにちは！クラウドエースデータ ML ディビジョン所属のきょくです。 データ ML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介するリリースは、「Cloud Run ジョブのタイムアウト時間の延長」についてです。このリリースによって、従来 1 時間までだったジョブのタイムアウト時間が最長 24 時間までに延長されました。 Cloud Run の概

こんにちは、クラウドエースの SRE チームに所属している妹尾です。 今回は Cloud Spanner の運用が劇的に楽になるアップデートがあったのでご紹介します！ 概要 2023/11/14 に Cloud Spanner に組み込みのオートスケーリング機能が実装されました！[1] この機能を使うと今まで外部プログラムに依存していたオートスケール機能を Cloud Spanner の設定だけで実現することが可能になります。 利用方法 利用方法は作成時にコンソールから指定するだけでとても簡単です。 コマンドにオプションを付与して指定もできます。 クラスタを新規作成する場合は

TL; DR BigQuery の検索インデックス機能を使えば、大規模なデータセットからごく少量のデータを取得する際の処理時間と課金されるバイト数がかなり削減できます この機能を一般的によく使われる演算子でも実行できるようになれば、日々の分析やログ検索におけるコスト削減に大きく貢献しそうです はじめに こんにちは、クラウドエース データML ディビジョン所属の田中です。 データML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考

はじめに こんにちは、クラウドエース バックエンド ディビジョン所属の許です。 今回は、Cloud Run の機能の一つである Cloud Run jobs について、使用例を交えながら解説していきます。 Cloud Run jobs とは Cloud Run には service(以下、サービス)と jobs(以下、ジョブ)の2つの機能が存在しています。どちらも既存のコンテナ イメージを用いて処理を実行できるという点においては同じです。 Cloud Run を使用するときは大抵がサービスであり、リクエストを受信して処理するというような使い方が可能です。 しかし、ジョブはタスクを

こんにちは、クラウドエースの佐久間です。2023 年 10 月 5 日にリリースされた GA 版 Terraform v1.6.0 において、terraform test コマンドを用いたテスト機能が正式に実装されました。この記事では、公式ページの説明をまとめるとともに、Google Cloud のリソースを用いてそのテスト機能を簡単に試していきます。なお、Terraform の基本的な使い方には触れませんのでご了承ください。 機能概要 この機能は、テストファイルに書かれたテストコードに基づき、モジュール構成の更新にミスがないかテストするための機能です。terraform test

こんにちは、クラウドエース データML ディビジョン所属の濱です。 データML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介するリリースは、「AWS Glue 連携データセットの作成」についてです。 概要 2023年9月13日の BigQuery のリリースノートに掲載されたリリースについての解説です。 このリリースの内容を要約すると、AWS Glue で管理し

クラウドエースの北野です。 Google Sheets から Terraform を実行し、Google Cloud を管理する方法を紹介します。 要約 以下の順序で、タスクを実施することで、Google Sheets から Terraform を実施させます。 Google Apps Script で Google Sheets のデータを Cloud Storage (GCS) へアップロード GCS の変更を Eventarc で検知し、Workflows の実行 Workflows から Cloud Build トリガーを実行し、Google Cloud の変更 システム

こんにちは、クラウドエース データML ディビジョン所属の江藤です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、 毎週Google Cloudの新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回、ご紹介するリリースは2023年8月28日付でpreviewで利用可能となった、Vertex AI

はじめに こんにちは、クラウドエース Data/ML ディビジョン所属の谷口です。 今回は、BigQuery を使った主成分分析のやり方を紹介したいと思います。 この記事では、Google の BigQuery を使用して主成分分析を行う方法を詳しく解説します。 BigQuery を使ったデータ分析に興味がある方、またはその方法を探している方向けに、 この記事を通じてその概念と実装方法を理解できるようになることを目指しています。 この記事の内容は以下の流れで進行します。 まずは、主成分分析の基本的な理念とその使用目的について説明します。 次に、検証に利用するデータの説明をします。 そ

はじめに こんにちは、クラウドエースでSREディビジョンに所属している Shanks と申します。 本日は 2023/09/27 付けで Google Cloud のネットワークソリューションとして GA になった新機能についてご紹介したいと思います。 新たに GA となった機能は「ファイアウォール ポリシーにおける FQDN ベースのフィルタリング機能」です。 （以下、FQDN フィルタリングと呼称。） そこで、この記事ではこの機能によってどのようなことができるのかの概略をまとめます。 ターゲットとなる読者層 Google Cloud 上でシステムを構築している、または、構

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の坂田です。 データ ML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回は、Google Cloud の Vertex AI に新登場したプロダクト「Colab Enterprise」について解説します。 Colab Enterprise は、Google Cloud で Jupyter Note

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、BigQuery Studio です。BigQuer

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の川人です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 以前はオンライン広告配信事業を行う会社でデータサイエンティストとして働いており、クラウドエースには今年 10 月 1 日から中途で入社しました。 前職から開発は Google Cloud（旧 Google Cloud Platform、以下「GCP」）上で行っていましたが、広告配信のモデルはローカルで学習した

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、BigQuery DataFrames です。Big

こんにちは、SREディビジョンの小林です。 この記事では Duet AI Assisted Operationsの各機能紹介と、検証結果について記載しております。 各機能は、以下の項目でまとめています。 機能概要 利用における条件 検証内容 類似製品、他製品との違い（Duet AI in Cloud Consoleのみ） 本機能のメリット どのようなユーザにフィットするか 実運用、開発に利用できるかの考察、使用感 ! 類似製品、他製品を利用する際には、言語を統一して利用しています。 Duet AI Assisted Operationsとは 現在プレビュー版のDuet AIの中

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、Data clean rooms（以降、データクリー

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の疋田（ひきた）です。 珍しい苗字でなかなか覚えづらいと思いますので、是非「ヒッキー」と呼んでいただければ嬉しいです。　クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud (旧 Google Cloud Platform、以下「GCP」) の新規リリースを調査・発表し、データ領域のプロダクトのキャ

こんにちは。クラウドエースの阿部です。 この記事では、2023年10月5日にリリースされた Terraform 1.6.0 の変更点についてざっくり説明します。 概要 2023年10月5日に Terraform 1.6.0 の GA 版がリリースされました。 v1.6.0 の alpha 版は2023年7月20日にリリースされており、GAまで約2ヶ月半ほどかかっています。 最近のマイナーバージョンアップは alpha/beta 版が出てから GA 版になるまで比較的早い印象でしたが、 v1.6.0 はかなり慎重に開発されていると思います。 リリース情報をベースに、 v1.6.0 でど

こんにちは。クラウドエースの阿部です。 2023年9月29日に、 Jagu'e'r Tech Writers の初回 Meetup に参加し、クラウドエースにおける技術ブログの取り組みについて発表しましたので、そのときの様子を紹介したいと思います。 イベントの概要 Jagu'e'r というコミュニティについて、耳慣れない方も少なくないと思います。 Jagu'e'r (ジャガー)は Japan Google Cloud Usergroup for Enterprise の略称であり、日本で Google Cloud を利用している企業に所属されている方を中心として、企業の垣根を越えて経

はじめに こんにちは。クラウドエースの木村です。 本記事にてご紹介する内容は、Google Cloud のサービスである VPC ネットワークピアリングについてです。 私自身今まで使ったことがなかったので、簡単にサービスの概要と、実際に使ってみた様子をまとめてみました。 VPC ネットワークピアリングに触れたことがない方、どのようなサービスなのかを簡潔に知りたい方に向けた記事になっています。 VPC ネットワークピアリングとは Google Cloud VPC ネットワークピアリングは、2 つの Virtual Private Cloud(以下、VPC)を接続することで、各ネット