こんにちは。SCSKの磯野です。 BigQueryでTBレベルの大きなデータを扱うとき、意図しない高額課金のリスクを抑えたいと思ったことはありませんか？ 今回は、大きなテーブルを扱う上で、コスト削減につながるTipsをいくつかご紹介します。 BigQueryの課金体系 BigQuery の料金は主に次の 2 つの要素で構成されています。 コンピューティングの料金  は、SQL クエリ、ユーザー定義関数、 スクリプト、特定のデータ操作言語（DML）とデータ定義 言語（DDL）ステートメントがありま

こんにちは。SCSKの磯野です。 BigQueryのパーティションフィルタについて、気になったことをいくつか調べてみました。 パーティションフィルタとは パーティションフィルタを有効にすると、パーティション列を適切に指定したWHERE句が存在しないときに、エラーとすることができます。これにより、必ずパーティションが効くクエリしか実行できなくなるため、フルスキャンによる高額課金を防止することができます。 パーティション分割テーブルの管理  |  BigQuery  |  Google Cloud cloud

こんにちは。最近BigQueryMLにハマっているSCSKの山口です。 もちろん今回もBigQueryMLに関するブログです。今回は 時系列予測 が可能な ARIMA+（ARIMA PLUS） でモデルを作成し、実際に使ってみようと思います。 時系列予測をするにあたって様々な知識が必要になりましたが、今回はできるだけ漏れなく最低限まとめています。少し長いですが最後まで読んでいただけると幸いです。 筆者はこんな人です。 ・Google Cloud歴：約2年 ・BigQueryのコンソール操作には慣れている

G-genの杉村です。Google Cloud（旧称 GCP）のフルマネージドなデータウェアハウスサービスである BigQuery の、ストレージ料金体系について解説します。 BigQuery の課金体系 2つの課金モデル 論理ストレージ（Logical Storage）課金 物理ストレージ（Physical storage）課金 アクティブと長期 ユースケース どちらのモデルを選択すべきか 圧縮率の例 圧縮率の確認（データセットごと、コンソール） 圧縮率の確認（組織レベル、システムビュー） 圧縮率の確認

はじめに こんにちは、クラウドエースのデータソリューション部の伊藤です。 普段は、データ基盤や機械学習基盤の構築だったり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。 データ分析基盤の構築は、ビジネスにおける意思決定を迅速かつ正確に行うために不可欠です。しかし、データの収集、変換、格納といったプロセスは複雑で、多くの時間と労力を必要とします。 この記事では、Google Cloud の BigQuery を中心としたデータ分析基盤を作りたいと思いつつも、今ひとつ手が出ない

はじめに こんにちは、クラウドエースのデータソリューション部の伊藤です。 普段は、データ基盤や機械学習基盤の構築だったり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。 データ分析基盤の構築は、ビジネスにおける意思決定を迅速かつ正確に行うために不可欠です。しかし、データの収集、変換、格納といったプロセスは複雑で、多くの時間と労力を必要とします。 この記事では、Google Cloud の BigQuery を中心としたデータ分析基盤を作りたいと思いつつも、今ひとつ手が出ない

はじめに こんにちは、クラウドエース データソリューション部 の尾杉です。 ビッグデータの時代において、リアルタイムデータ処理やメッセージングシステムの重要性はますます高まっています。データのストリーミングやメッセージングにおいて、Apache Kafka と Google Cloud Pub/Sub は非常に人気のある選択肢です。しかし、これら 2 つのシステムは、設計思想、アーキテクチャ、機能面で異なる特徴を持っています。 Google Cloud では、2024 年 4 月に Apache Kafk

はじめに こんにちは、クラウドエース データソリューション部 の尾杉です。 ビッグデータの時代において、リアルタイムデータ処理やメッセージングシステムの重要性はますます高まっています。データのストリーミングやメッセージングにおいて、Apache Kafka と Google Cloud Pub/Sub は非常に人気のある選択肢です。しかし、これら 2 つのシステムは、設計思想、アーキテクチャ、機能面で異なる特徴を持っています。 Google Cloud では、2024 年 4 月に Apache Kafk

みなさん、こんにちは。ソリューションアーキテクトの杉山です。今週も 週刊AWS をお届けします。 9 月 19 日 (木) に、AWS オンラインセミナーの「 RAG の困りごとは今日で一気に解決！ AWS 生成 AI Dive Deep 」を開催します。生成 AI の業務活用において、よく使われる RAG (Retrieval Augmented Generation) ですが、いざ業務で使おうとすると、精度や速度といったさまざまな課題に遭遇します。このセミナーは、RAG にまつわるお悩みを解消するため

こんにちは、k-kzkです。私はInsight Edgeに参画して早2年が経ちました。 今回の記事では、私が初めて取り組んだETL開発プロジェクトと、そこで選択したツールであるDataformについてお話しします。 目次 1. はじめに 1.1 ETL 開発とは 1.2 Dataform の選定理由 2. Dataform を利用した ETL 開発のライフサイクル 2.1 リポジトリ作成 2.2 ワークスペースの使い方について 2.3 ディレクトリについて 2.4 テーブル構成 2.5 Dataform

G-gen の山崎です。 当記事では、Cloud Storage に格納されたテキストファイルに対して、Cloud Run functions にてVertex AI Gemini API を呼び出し、取得したテキストの要約結果を BigQuery に保存する処理を構築したので解説します。 システム構成 前提知識 環境構築 API の有効化 Cloud Storage の構築 バケットの作成 Cloud Storage サービスエージェントに権限付与 BigQuery の構築 Cloud Run func

G-genの杉村です。Google Cloud（旧称 GCP）のサービスではありませんが、Google 関連サービスである Ads Data Hub の初期セットアップについて、簡単に紹介します。 はじめに Ads Data Hub とは 2 つのモード アカウント開設の前提条件 Google アカウント Google Cloud プロジェクト 事前に必要な情報 Ads Data Hub アカウントの開設 留意点 Ads Data Hub のリージョンと Google Cloud のリージョン IAM 権

こんにちは。SCSKの磯野です。 Dataplexにはデータリネージ機能があります。BigQueryでどのように加工したときがリネージ対象なのか、調べてみました。 データリネージとは？ データリネージ とは、データがいつ、どこで、どのように取得され、今の状態にあるのかを追跡し、データの流れを可視化する機能です。データリネージは、DataPlex の機能名ではありますが、Google Cloud に限らず一般的に使われる用語です。   BigQueryでどのように加工したときにリネージされる？ 公

G-gen の奥田梨紗です。オープンソースの Looker 拡張機能である Explore Assistant を使い、自然言語によってグラフを生成できる機能を実装しました。本記事ではその機能の紹介や、実装手順について紹介します。 はじめに Looker Explore Assistant の紹介 できること 1. Assistant 機能 2. Chat 機能 料金 利用事例 実装 構成 実装の手順 環境変数ファイルの作成と編集 はじめに 当記事では、Looker 拡張機能である Looker Expl

こんにちは。SCSKの山口です。 本ブログでは、前回のブログで作成したBigQuery MLの線形回帰モデルの性能を評価してみたいと思います。 [前回ブログ]モデル作成・予測結果 【GCP】BigQuery MLを触りたいときに読むブログ 今回はBigQuery MLを使って機械学習モデルの作成、テストをやってみます。 AI/MLの知識はあまりないがとにかくBigQuery MLを触ってみたい方、BigQuery MLでモデルを作成して推論してみたい方にぜひ読んでいただきたいブログです。 blog.usi