こんにちは。SCSKの山口翔平です。 最近、大谷翔平選手の活躍が凄まじいので便乗してフルネームで名乗ってみました。 2024年9月20日。大谷翔平選手が前人未到の 【50－50】 を達成した裏で、私、山口翔平がひっそり GCP認定資格【11冠】 を達成しました。 2022年9月にGoogle Cloud の部署に新人として配属され、ちょうど二年後の2024年9月に 認定資格11冠（全冠） を達成しました。せっかくなので全冠までの2年間の軌跡をブログに残そうと思います。 試験の概要は 公式ドキュメント や

こんにちは。SCSKの磯野です。 BigQueryでTBレベルの大きなデータを扱うとき、意図しない高額課金のリスクを抑えたいと思ったことはありませんか？ 今回は、大きなテーブルを扱う上で、コスト削減につながるTipsをいくつかご紹介します。 BigQueryの課金体系 BigQuery の料金は主に次の 2 つの要素で構成されています。 コンピューティングの料金  は、SQL クエリ、ユーザー定義関数、 スクリプト、特定のデータ操作言語（DML）とデータ定義 言語（DDL）ステートメントがありま

こんにちは。SCSKの磯野です。 BigQueryのパーティションフィルタについて、気になったことをいくつか調べてみました。 パーティションフィルタとは パーティションフィルタを有効にすると、パーティション列を適切に指定したWHERE句が存在しないときに、エラーとすることができます。これにより、必ずパーティションが効くクエリしか実行できなくなるため、フルスキャンによる高額課金を防止することができます。 パーティション分割テーブルの管理  |  BigQuery  |  Google Cloud cloud

こんにちは。SCSKの磯野です。 Dataformで、同一のSQLXファイルから複数環境（dev、prod）向けにリリースを行う方法を記載します。 使用するプロジェクトが１種類（ project-a -dev、 project-a -prd）であれば、下記公式ドキュメントの方法で問題ないと思います。 スキーマとプロジェクトごとに開発と本番環境を分割する | Dataform | Google Cloud 今回は、複数のプロジェクトかつ複数環境（ project-a -dev、 project-a -prd

G-gen の杉村です。特定の Google Cloud 組織配下にあるすべてのプロジェクトを取得する bash スクリプトを紹介します。 はじめに 概要 前提条件 免責事項 ソースコード 出力例 実行方法 入力情報の準備 スクリプトの実行 ソースコードの説明 注意点 はじめに 概要 当記事で紹介するのは、指定した Google Cloud 組織またはフォルダの配下にあるすべてのプロジェクトの一覧を CSV ファイルに出力するためのスクリプトです。当スクリプトを使うことで、特定の Google Cloud

クラウドエースの亀梨です。皆様、Google Cloud Container Registry の EOL 対応はお済みでしょうか？ 2025 年 3 月 18 日以降、Container Registry は提供終了となります。 https://cloud.google.com/container-registry/docs/support/deprecation-notices?hl=ja まさにこの、Container Registry の EOL 対応のために検証していたところ、意外な盲点に気付い

こんにちは。最近BigQueryMLにハマっているSCSKの山口です。 もちろん今回もBigQueryMLに関するブログです。今回は 時系列予測 が可能な ARIMA+（ARIMA PLUS） でモデルを作成し、実際に使ってみようと思います。 時系列予測をするにあたって様々な知識が必要になりましたが、今回はできるだけ漏れなく最低限まとめています。少し長いですが最後まで読んでいただけると幸いです。 筆者はこんな人です。 ・Google Cloud歴：約2年 ・BigQueryのコンソール操作には慣れている

本記事では gcloud コマンドの --filter フラグと --format フラグを使った出力の制御について、具体例を交えて紹介します。 gcloud CLI コマンドの概要 出力結果を自在に操る デフォルトの出力 format フラグで出力形式を指定 filter フラグで特定の値を持つリソースを抽出 gcloud コマンドに関する他の記事 gcloud CLI コマンドの概要 Google Cloud CLI（gcloud CLI）は、リソースの作成と管理を行うためのツールです。このツールを利

こんにちは。AIチームの干飯( @hosimesi11_ )です。今回はAI Shiftの新規サービスであるAI Messanger SummaryのMLパイプラインの監視についてまとめたいと思います。 具体的にはExitHandlerで外部ツールとの連携をしつつ、詳細なメトリクスの監視は Google Cloud Managed Service for Prometheus + Cloud Monitoring で構成しました。 事前情報 AI Messenger Summaryとは AI Messen

G-genの杉村です。Google Cloud（旧称 GCP）のフルマネージドなデータウェアハウスサービスである BigQuery の、ストレージ料金体系について解説します。 BigQuery の課金体系 2つの課金モデル 論理ストレージ（Logical Storage）課金 物理ストレージ（Physical storage）課金 アクティブと長期 ユースケース どちらのモデルを選択すべきか 圧縮率の例 圧縮率の確認（コンソール） 圧縮率の確認（システムビュー） タイムトラベル・フェイルセーフへの課金 制

はじめに こんにちは、クラウドエースのデータソリューション部の伊藤です。 普段は、データ基盤や機械学習基盤の構築だったり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。 データ分析基盤の構築は、ビジネスにおける意思決定を迅速かつ正確に行うために不可欠です。しかし、データの収集、変換、格納といったプロセスは複雑で、多くの時間と労力を必要とします。 この記事では、Google Cloud の BigQuery を中心としたデータ分析基盤を作りたいと思いつつも、今ひとつ手が出ない

G-gen の三木です。Google Cloud（旧称 GCP）の Cloud Monitoring のアラートポリシー機能で、通知文に VM 名称等を含める方法をご紹介します。 前提知識 Cloud Monitoring とは ログベースのアラートとラベル機能 改善前 設定値 課題 改善後 設定 テスト 改善後のアラート内容 前提知識 Cloud Monitoring とは Cloud Monitoring は、 Google Cloud における監視機能を提供するサービスです。以下の機能を提供します。

はじめに こんにちは、クラウドエース データソリューション部 の尾杉です。 ビッグデータの時代において、リアルタイムデータ処理やメッセージングシステムの重要性はますます高まっています。データのストリーミングやメッセージングにおいて、Apache Kafka と Google Cloud Pub/Sub は非常に人気のある選択肢です。しかし、これら 2 つのシステムは、設計思想、アーキテクチャ、機能面で異なる特徴を持っています。 Google Cloud では、2024 年 4 月に Apache Kafk

はじめに はじめまして、クラウドエース株式会社の金井です。 新卒として、2024年4月にクラウドエースに入社しました。 今回、初学者向け記事を書いてみようという社内企画として Google Cloud のサービスアカウントについて書かせていただきます。 「サービスアカウントって何？」「何のためにあるの？」という疑問を解決できればと思います。 そもそもサービスアカウントとは まずは公式ドキュメントを読んでみましょう。 サービス アカウントは、ユーザーではなく、アプリケーションや Compute Engine

はじめに こんにちは、クラウドエースの岸本です。 Google Cloud の公式ブログに、以下のような記載があります。 Google のミッションの根底には、「bot には厳しく、人には優しくあるべき」というものがあります。 ということで、前回の記事で作成した Cloud Load Balancing のバックエンドに対して、reCAPTCHA 機能を設定してみたいと思います。 Cloud Load Balancing に紐づくバックエンドがあれば実装可能ですので、ぜひご活用ください。 【前回の記事】