G-gen の杉村です。2024年9月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Cloud Run の Deterministic URL が Preview → GA BigQuery の VECTOR_SEARCH() と vector index が Preview → GA AppSheet で管理者コンソールが利用可能に（Preview） VPC SC のルールで Googleグループが利用可能に（

はじめに クラウドエースの SRE 部に所属している安田です。 この記事では Google Cloud が提供するフルマネージドの機械学習プラットフォームである Vertex AI についてご紹介します。 私は、以前から AI に興味があり、機械学習や AI 機能に触れてみたいと思っていましたが、専門的な知識や技術が必要でハードルが高くチャレンジできずにいました。そこで、学習済みモデルを手軽に利用できるマネージドサービスの Vertex AI に注目し、使い方を学んでみることにしました。 本記事では、私が

こんにちは。クラウドエース株式会社で Google Cloud 認定トレーナーをしている廣瀬 隆博です。皆さんは新しい事にチャレンジしていますか？私は昔から得意ではなかったスラッシュ メタルというヘヴィメタルのサブジャンルに再チャレンジしましたが、やはり得意ではありませんでした。とはいえ、それを再認識できたことはチャレンジしたおかげだなと感じています。 Google Cloud の資格にも私が得意ではないものがあり、それは機械学習の知識が問われる Professional Machine Learning

はじめに こんにちは。クラウドエース バックエンド エンジニアリング部の中井です。 この記事では、Google Cloud が提供している Document AI を使って Google Drive に保存されたファイルを解析し、その結果を Google SpreadSheet に出力する方法について解説します。 クラウドエースの別の記事ではBigQueryでDocumentAIを利用する方法も紹介しているのでぜひ一読してみてください。 https://zenn.dev/cloud_ace/article

G-genの杉村です。Google Cloud（旧称 GCP）のリソースインベントリサービスである Cloud Asset Inventory を解説します。 Cloud Asset Inventory とは 料金 用語 アセット アセットタイプ アセット関係 フィード エクスポート 代表的なユースケース アセット履歴の確認 プリンシパルの検索 リソースの IAM 許可ポリシーの検索 アセット変更の通知 Asset Insight Cloud Asset Inventory とは Cloud Asset

Gemini at Work の開催目的

はじめに こんにちは。データシステム部/推薦基盤ブロックの佐藤 ( @rayuron ) です。私たちはZOZOTOWNのパーソナライズを実現する推薦システムを開発・運用しています。推薦システムごとにKPIを策定していますが、データの欠損やリリース時の不具合によってKPIが意図しない値を取ることがあるため定常的に確認する必要があり、これをKPIのモニタリングと呼んでいます。 先日、 推薦システムの実績をLookerでモニタリングする というテックブログで推薦システムのKPIをモニタリングする方法を紹介しま

こんにちは。SCSKの山口翔平です。 最近、大谷翔平選手の活躍が凄まじいので便乗してフルネームで名乗ってみました。 2024年9月20日。大谷翔平選手が前人未到の 【50－50】 を達成した裏で、私、山口翔平がひっそり GCP認定資格【11冠】 を達成しました。 2022年9月にGoogle Cloud の部署に新人として配属され、ちょうど二年後の2024年9月に 認定資格11冠（全冠） を達成しました。せっかくなので全冠までの2年間の軌跡をブログに残そうと思います。 試験の概要は 公式ドキュメント や

こんにちは。SCSKの磯野です。 BigQueryでTBレベルの大きなデータを扱うとき、意図しない高額課金のリスクを抑えたいと思ったことはありませんか？ 今回は、大きなテーブルを扱う上で、コスト削減につながるTipsをいくつかご紹介します。 BigQueryの課金体系 BigQuery の料金は主に次の 2 つの要素で構成されています。 コンピューティングの料金  は、SQL クエリ、ユーザー定義関数、 スクリプト、特定のデータ操作言語（DML）とデータ定義 言語（DDL）ステートメントがありま

こんにちは。SCSKの磯野です。 BigQueryのパーティションフィルタについて、気になったことをいくつか調べてみました。 パーティションフィルタとは パーティションフィルタを有効にすると、パーティション列を適切に指定したWHERE句が存在しないときに、エラーとすることができます。これにより、必ずパーティションが効くクエリしか実行できなくなるため、フルスキャンによる高額課金を防止することができます。 パーティション分割テーブルの管理  |  BigQuery  |  Google Cloud cloud

こんにちは。最近BigQueryMLにハマっているSCSKの山口です。 もちろん今回もBigQueryMLに関するブログです。今回は 時系列予測 が可能な ARIMA+（ARIMA PLUS） でモデルを作成し、実際に使ってみようと思います。 時系列予測をするにあたって様々な知識が必要になりましたが、今回はできるだけ漏れなく最低限まとめています。少し長いですが最後まで読んでいただけると幸いです。 筆者はこんな人です。 ・Google Cloud歴：約2年 ・BigQueryのコンソール操作には慣れている

G-genの杉村です。Google Cloud（旧称 GCP）のフルマネージドなデータウェアハウスサービスである BigQuery の、ストレージ料金体系について解説します。 BigQuery の課金体系 2つの課金モデル 論理ストレージ（Logical Storage）課金 物理ストレージ（Physical storage）課金 アクティブと長期 ユースケース どちらのモデルを選択すべきか 圧縮率の例 圧縮率の確認（データセットごと、コンソール） 圧縮率の確認（組織レベル、システムビュー） 圧縮率の確認

はじめに こんにちは、クラウドエースのデータソリューション部の伊藤です。 普段は、データ基盤や機械学習基盤の構築だったり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。 データ分析基盤の構築は、ビジネスにおける意思決定を迅速かつ正確に行うために不可欠です。しかし、データの収集、変換、格納といったプロセスは複雑で、多くの時間と労力を必要とします。 この記事では、Google Cloud の BigQuery を中心としたデータ分析基盤を作りたいと思いつつも、今ひとつ手が出ない

はじめに こんにちは、クラウドエース データソリューション部 の尾杉です。 ビッグデータの時代において、リアルタイムデータ処理やメッセージングシステムの重要性はますます高まっています。データのストリーミングやメッセージングにおいて、Apache Kafka と Google Cloud Pub/Sub は非常に人気のある選択肢です。しかし、これら 2 つのシステムは、設計思想、アーキテクチャ、機能面で異なる特徴を持っています。 Google Cloud では、2024 年 4 月に Apache Kafk

みなさん、こんにちは。ソリューションアーキテクトの杉山です。今週も 週刊AWS をお届けします。 9 月 19 日 (木) に、AWS オンラインセミナーの「 RAG の困りごとは今日で一気に解決！ AWS 生成 AI Dive Deep 」を開催します。生成 AI の業務活用において、よく使われる RAG (Retrieval Augmented Generation) ですが、いざ業務で使おうとすると、精度や速度といったさまざまな課題に遭遇します。このセミナーは、RAG にまつわるお悩みを解消するため