クラウドエース の技術ブログ
全717件
Cloud Spanner 組み込みのオートスケーラー、Managed autoscaler が登場！
2023/11/14
ブックマーク
こんにちは、クラウドエースの SRE チームに所属している妹尾です。 今回は Cloud Spanner の運用が劇的に楽になるアップデートがあったのでご紹介します！ 概要 2023/11/14 に Cloud Spanner に組み込みのオートスケーリング機能が実装されました！[1] この機能を使うと今まで外部プログラムに依存していたオートスケール機能を Cloud Spanner の設定だけで実現することが可能になり
BigQuery の検索インデックスがさらに便利になりそうです
2023/11/13
ブックマーク
TL; DR BigQuery の検索インデックス機能を使えば、大規模なデータセットからごく少量のデータを取得する際の処理時間と課金されるバイト数がかなり削減できます この機能を一般的によく使われる演算子でも実行できるようになれば、日々の分析やログ検索におけるコスト削減に大きく貢献しそうです はじめに こんにちは、クラウドエース データML ディビジョン所属の田
Cloud Run jobsを用いてバッチ処理を実現する
2023/11/10
ブックマーク
はじめに こんにちは、クラウドエース バックエンド ディビジョン所属の許です。 今回は、Cloud Run の機能の一つである Cloud Run jobs について、使用例を交えながら解説していきます。 Cloud Run jobs とは Cloud Run には service(以下、サービス)と jobs(以下、ジョブ)の2つの機能が存在しています。どちらも既存のコンテナ イメージを用いて処理を実行できるという点においては同
Terraform のテスト機能を試してみた
2023/11/09
ブックマーク
こんにちは、クラウドエースの佐久間です。2023 年 10 月 5 日にリリースされた GA 版 Terraform v1.6.0 において、terraform test コマンドを用いたテスト機能が正式に実装されました。この記事では、公式ページの説明をまとめるとともに、Google Cloud のリソースを用いてそのテスト機能を簡単に試していきます。なお、Terraform の基本的な使い方には触れませんのでご了承ください
BigQuery で AWS Glue 連携データセットを作成する
2023/11/08
ブックマーク
こんにちは、クラウドエース データML ディビジョン所属の濱です。 データML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介するリリースは
Google Sheets から Terraform の実行
2023/11/08
ブックマーク
クラウドエースの北野です。 Google Sheets から Terraform を実行し、Google Cloud を管理する方法を紹介します。 要約 以下の順序で、タスクを実施することで、Google Sheets から Terraform を実施させます。 Google Apps Script で Google Sheets のデータを Cloud Storage (GCS) へアップロード GCS の変更を Eventarc で検知し、Workflows の実行 Workflows から Cloud Build トリガーを実行し、Google Cloud の変更 シ
Vertex AI Pipelines のTabular Workflow for Forecasting
2023/11/07
ブックマーク
こんにちは、クラウドエース データML ディビジョン所属の江藤です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、 毎週Google Cloudの新規リリースを調査・発表し、
BigQueryを用いた主成分分析
2023/11/07
ブックマーク
はじめに こんにちは、クラウドエース Data/ML ディビジョン所属の谷口です。 今回は、BigQuery を使った主成分分析のやり方を紹介したいと思います。 この記事では、Google の BigQuery を使用して主成分分析を行う方法を詳しく解説します。 BigQuery を使ったデータ分析に興味がある方、またはその方法を探している方向けに、 この記事を通じてその概念と実装方法を理解でき
Cloud Firewall Standard で FQDN ベースのフィルタリングが GA になったのでまとめてみた
2023/11/06
ブックマーク
はじめに こんにちは、クラウドエースでSREディビジョンに所属している Shanks と申します。 本日は 2023/09/27 付けで Google Cloud のネットワークソリューションとして GA になった新機能についてご紹介したいと思います。 新たに GA となった機能は「ファイアウォール ポリシーにおける FQDN ベースのフィルタリング機能」です。 （以下、FQDN フィルタリングと呼称。） そこで
Colab Enterprise を解説
2023/10/31
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の坂田です。 データ ML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回は、Goo
BigQuery Studio は何者なのか
2023/10/30
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調
BigQuery ML を触ってみる
2023/10/26
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の川人です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 以前はオンライン広告配信事業を行う会社でデータサイエンティストとして働いて
BigQuery DataFrames のご紹介
2023/10/23
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調
Duet AI Assisted operations検証
2023/10/20
ブックマーク
こんにちは、SREディビジョンの小林です。 この記事では Duet AI Assisted Operationsの各機能紹介と、検証結果について記載しております。 各機能は、以下の項目でまとめています。 機能概要 利用における条件 検証内容 類似製品、他製品との違い（Duet AI in Cloud Consoleのみ） 本機能のメリット どのようなユーザにフィットするか 実運用、開発に利用できるかの考察、使用感 !
BigQuery のデータクリーンルームに入門しました
2023/10/18
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調