こんにちは、クラウドエース データML ディビジョン所属の江藤です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、 毎週Google Cloudの新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回、ご紹介するリリースは2023年8月28日付でpreviewで利用可能となった、Vertex AI

はじめに こんにちは、クラウドエース Data/ML ディビジョン所属の谷口です。 今回は、BigQuery を使った主成分分析のやり方を紹介したいと思います。 この記事では、Google の BigQuery を使用して主成分分析を行う方法を詳しく解説します。 BigQuery を使ったデータ分析に興味がある方、またはその方法を探している方向けに、 この記事を通じてその概念と実装方法を理解できるようになることを目指しています。 この記事の内容は以下の流れで進行します。 まずは、主成分分析の基本的な理念とその使用目的について説明します。 次に、検証に利用するデータの説明をします。 そ

はじめに こんにちは、クラウドエースでSREディビジョンに所属している Shanks と申します。 本日は 2023/09/27 付けで Google Cloud のネットワークソリューションとして GA になった新機能についてご紹介したいと思います。 新たに GA となった機能は「ファイアウォール ポリシーにおける FQDN ベースのフィルタリング機能」です。 （以下、FQDN フィルタリングと呼称。） そこで、この記事ではこの機能によってどのようなことができるのかの概略をまとめます。 ターゲットとなる読者層 Google Cloud 上でシステムを構築している、または、構

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の坂田です。 データ ML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回は、Google Cloud の Vertex AI に新登場したプロダクト「Colab Enterprise」について解説します。 Colab Enterprise は、Google Cloud で Jupyter Note

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、BigQuery Studio です。BigQuer

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の川人です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 以前はオンライン広告配信事業を行う会社でデータサイエンティストとして働いており、クラウドエースには今年 10 月 1 日から中途で入社しました。 前職から開発は Google Cloud（旧 Google Cloud Platform、以下「GCP」）上で行っていましたが、広告配信のモデルはローカルで学習した

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、BigQuery DataFrames です。Big

こんにちは、SREディビジョンの小林です。 この記事では Duet AI Assisted Operationsの各機能紹介と、検証結果について記載しております。 各機能は、以下の項目でまとめています。 機能概要 利用における条件 検証内容 類似製品、他製品との違い（Duet AI in Cloud Consoleのみ） 本機能のメリット どのようなユーザにフィットするか 実運用、開発に利用できるかの考察、使用感 ! 類似製品、他製品を利用する際には、言語を統一して利用しています。 Duet AI Assisted Operationsとは 現在プレビュー版のDuet AIの中

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、Data clean rooms（以降、データクリー

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の疋田（ひきた）です。 珍しい苗字でなかなか覚えづらいと思いますので、是非「ヒッキー」と呼んでいただければ嬉しいです。　クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud (旧 Google Cloud Platform、以下「GCP」) の新規リリースを調査・発表し、データ領域のプロダクトのキャ

こんにちは。クラウドエースの阿部です。 この記事では、2023年10月5日にリリースされた Terraform 1.6.0 の変更点についてざっくり説明します。 概要 2023年10月5日に Terraform 1.6.0 の GA 版がリリースされました。 v1.6.0 の alpha 版は2023年7月20日にリリースされており、GAまで約2ヶ月半ほどかかっています。 最近のマイナーバージョンアップは alpha/beta 版が出てから GA 版になるまで比較的早い印象でしたが、 v1.6.0 はかなり慎重に開発されていると思います。 リリース情報をベースに、 v1.6.0 でど

こんにちは。クラウドエースの阿部です。 2023年9月29日に、 Jagu'e'r Tech Writers の初回 Meetup に参加し、クラウドエースにおける技術ブログの取り組みについて発表しましたので、そのときの様子を紹介したいと思います。 イベントの概要 Jagu'e'r というコミュニティについて、耳慣れない方も少なくないと思います。 Jagu'e'r (ジャガー)は Japan Google Cloud Usergroup for Enterprise の略称であり、日本で Google Cloud を利用している企業に所属されている方を中心として、企業の垣根を越えて経

はじめに こんにちは。クラウドエースの木村です。 本記事にてご紹介する内容は、Google Cloud のサービスである VPC ネットワークピアリングについてです。 私自身今まで使ったことがなかったので、簡単にサービスの概要と、実際に使ってみた様子をまとめてみました。 VPC ネットワークピアリングに触れたことがない方、どのようなサービスなのかを簡潔に知りたい方に向けた記事になっています。 VPC ネットワークピアリングとは Google Cloud VPC ネットワークピアリングは、2 つの Virtual Private Cloud(以下、VPC)を接続することで、各ネット

はじめに こんにちは、クラウドエース データML ディビジョン所属の森です。 データML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、 新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介するリリースは、「Dataflow ストリーミングジョブでのストラグラー検知」についてです。 このリリースによって、今まで Dataflow バッチジョブでのみ提供されていたストラグラー検知機能が、Dataflow ストリーミン

こんにちは。クラウドエースの阿部です。 この記事ではメジャーアップデートした Terraform Google Provider 5.0.0 の新機能と変更点について説明しようと思います。 概要 2023年10月3日に、Terraform の Google Cloud 向けプラグイン(Provider)である Terraform Google Provider が 5.0.0 にバージョンアップしました。 v4.0.0 のリリースは 2021年11月3日だったため、Provider のメジャーアップグレードは約2年ぶりということになります。 ざっとリリース情報やアップグレードガイドを

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の高橋です。 データ ML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介するリリースは、2023 年 8 月 9 日付で発表された Imagen にてマルチモーダルな埋め込みモデルが一般提供になったことについてです。当該リリースノートのリンクはこちらです。 Imagen とは Google が開

はじめに こんにちは。クラウドエース株式会社で SRE をしている間瀬です。 今回は 2023 年 8 月末に Google Cloud Next'23 で発表された GKE Enterprise において追加された機能について紹介させていただきます。 記事執筆時点において GKE Enterprise は早期リリース状態であり利用するためには個別に Google Cloud のアカウントチームへ連絡して機能解放を依頼する必要がありますのでご注意ください。 連絡方法などの詳細については公式docを参照してください。 尚、既に Anthos を利用されている方は上記の手続きなしで利用す

こんにちは、クラウドエース Data/ML ディビジョン所属の田中です。 2023 年 7 月 17 日に、BigQuery の主キーと外部キーが Generally Available になりました。(リリースノート) しかし、BigQuery の主キーと外部キーの仕様についてはあまり詳しく記載されていなかったので、いくつか検証してみました。 各検証は別記事に記載し、本記事ではまとめのみ記載しています。 以降、主キーを PK (Primary key)、外部キーを FK (Foreign key) と略すことがあります。 1. BigQuery の主キーと外部キーとは 主キーと外

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key に NULL が含まれているとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 normal1 normal2 pk1 fk1 normal1 と normal2 は通常テーブルです。 pk1 と fk1 は、それぞれ rev

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key カラムを 16 列を超えて設定可能かどうかを確認します。 データセット・テーブルの準備 -- データセット作成 CREATE SCHEMA IF NOT EXISTS pk_fk_dataset; -- 通常テーブル作成 CREATE OR REPLACE TABLE pk_fk_dataset.normal1 ( title STRING NOT NULL, id INTEGER, language