「Google BigQuery」に関連する技術ブログ

企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。

Vertex AI Feature StoreとVertex AI Text-Embeddingを使った活用事例

当記事では、BigQuery に統合された Vertex AI Feature Store というベクトルストアと、テキストの意味をベクトル化できる Vertex AI Text-Embeddings API を使った活用事例をご紹介します。 当記事は Google Cloud Champion Innovators Advent Calendar 2023 の7日目の記事です。 Vertex AI Feature Store とは Vertex AI Text-Embeddings API とは 活用例 ①レコメンド ②グラウンディング サンプルアプリ アーキテクチャ

キャリア事業のデータエンジニアが運用する、データ分析基盤における「データカタログ」について

この記事は 株式会社エス・エム・エス Advent Calendar 2023 の6日目の記事です。 エス・エム・エス BPR推進部 カスタマーデータチームの橘と申します。 私は「ナース人材バンク」等のキャリア事業を中心に、社内のデータ活用の推進、データ基盤の開発運用を担当する、データエンジニアの役割を担っています。 今回は私の組織におけるデータエンジニアの役割を簡単にご紹

GCPのストレージ・データベースサービスたちをまとめてみた

はじめに GCPにはさまざまなストレージサービスやデータベースサービスがあります。 GCP試験の勉強中、頭がごちゃごちゃになったポイントでした。(私の場合) 今回は6つのストレージサービスについて簡単にまとめていこうと思います。 Google Cloud Storage(GCS) 特徴 オブジェクトストレージサービス 容量無制限 低価格 ◦Amazon S3と同じ感じ いろいろ ストレージクラス GC

クラウド料金の見積もり方法を解説!

G-gen の杉村です。当記事では Google Cloud(旧称 GCP)をベースに、クラウド料金の見積もり方法・試算方法を徹底解説します。 はじめに 3つの性質 1. 従量課金 2. 月次請求 3. 変動する 試算方法 料金ページ 料金試算ツール リセールパートナーを頼る 割引 コミットメント制度 請求代行(リセールパートナー) 見積もり手順の例 手計算 Calculator はじめに 当記事では Google Cloud

BigQuery で GA のテーブルをクラスタ化テーブルにしてコスト削減した話

概要 これは Luup Advent Calendar 2023 の 4 日目の記事です。 BigQuery のクエリコスト削減のために、Google Analytics のテーブルをクラスタ化テーブルにしたという内容です。 背景 こんにちは、データエンジニアリングチームの辻尾です。 データエンジニアリングチームは社員 2 名、業務委託 1 名の体制で回しており、私は業務委託として携わっています。 Luup では Data Warehouse に Bi

2023年11月のイチオシGoogle Cloudアップデート

G-gen の杉村です。2023年11月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Duet AI が Cloud Logging のログを要約・説明 (GA) 復数の Duet AI 関連アップデート BigQuery で異なるユーザ間でもキャッシュが効くように BigQuery で過去〜現在のストレージ使用量を取得可能に (Preview) BigQuery で TEXT_ANALYZE

VPC Service ControlsでIPアドレス許可がうまくいかないときはこれを疑え

G-gen の堂原です。本記事では Google Cloud (旧称 GCP) のセキュリティサービスである VPC Service Controls において、IP アドレスを許可したにも関わらずアクセスが弾かれるケースにおける見落としがちな原因について紹介します。 はじめに 事象 : IP アドレスを許可したはずがアクセス失敗 原因 : IPv6 アドレスでアクセスしていた 確認方法 解消方法 はじめに VPC Service Controls は Goo

週刊AWS – 2023/11/20週

みなさん、こんにちは。ソリューションアーキテクトの杉山です。 今週も 週刊AWS をお届けします。 AWS re:Invent が今日から 12 月 1 日 までラスベガスで開催されています。現地に行けない方でも、キーノートとイノベーショントークのライブ配信を視聴頂けます。 こちら からご登録ください。また、ご登録頂くとオンデマンドでいくつかの動画が視聴できるようになりま

Google Cloud BigQuery と Amazon QuickSight で統合ビジネスインテリジェンスを最大限に活用できます

Amazon QuickSight は、クラウドネイティブなサーバーレスビジネスインテリジェンス (BI) サービスです。ビジュアライゼーションの構築、アドホックな分析の実行、異常検知、予測、自然言語クエリなどの機械学習 (ML) 機能によってインサイトを得ることが可能です。また QuickSight は高性能なインメモリエンジンである SPICE (Super-fast, Parallel, In-memory Calculation Engine)を利用して迅

Google Cloud Next Tokyo '23速報レポート

G-gen の杉村です。2023/11/15から2023/11/16までの二日間、東京ビッグサイトにて4年ぶりの現地開催となる Google Cloud Next Tokyo '23 が開催されました。当記事ではその発表内容についてレポートします。 開催場所 展示内容 一日目 基調講演(キーノート) 二日目 基調講演(キーノート) Vertex AI におけるグラウンディング G-gen スポンサーセッション 動画の公開 開催場所 Google Cloud

新米Google Cloud管理者の奮闘記のその後 〜Organizationの秩序を維持する試み〜

こんにちは、技術本部ML・データ部データ基盤ブロックの塩崎です。最近の気になる論文は、こちら 1 の動物病院での猫のストレスが音楽によって低減されるというものです。 さて、2年前にGCPの新米管理者になり色々と頑張っていますという内容のブログを公開しました。当時は対応が後手に回ってしまっていた内容でしたが、その後2年が経ったので、最近のGoogle Cloud管

Vertex AI Searchで外部Webサイトから要約回答を生成するRAGを構築してみた

G-gen 又吉です。当記事では、LangChain と Vertex AI Search で Google Cloud 公式ドキュメントから回答を生成する LLM を構築してみたいと思います。 はじめに Vertex AI Search and Conversation とは LangChain とは 今回の構成 環境構築 API の有効化 Vertex AI Search データストア アプリ 実行環境 初期設定 ライブラリインストール ユーティリティ関数 モデルの初期化 Vertex AI Search 関数 テキスト分

Data Catalogを徹底解説!

G-gen の杉村です。Google Cloud のメタデータ管理ツールである Data Catalog を解説します。 概要 Data Catalog とは Data Catalog の機能 データカタログの利点 メタデータとは データ検索機能 検索方法 クエリの構文 メタデータ管理機能 Data Catalog が自動収集するメタデータ Google Cloud 以外のカタログ化 テクニカルメタデータとビジネスメタデータ テクニカルメタデータ ビジネスメタ

Dataplexを徹底解説!

G-gen の神谷です。本記事では、Google Cloud のスケーラブルでサーバレスなデータ管理ツールである Dataplex を徹底解説します。 Dataplex の概要 Dataplex とは メリット データメッシュとは 構成とオブジェクト Dataplex Discovery Dataplex Discovery とは Discovery Action アクセス制御 認証・認可 (IAM) IAM の基本的な理解 アセットと IAM プロジェクトをまたぐ権限管理 VPC Service Controls 属性ストア

LangChainでBigQueryデータを使ったグラウンディングを実装してみた

G-gen 又吉です。当記事では、Google Cloud の LLM (Vertex AI PaLM API) と LangChain を組み合わせて、自然言語から BigQuery 上の統計データを取得する方法を紹介します。 はじめに 準備 実行環境 使用するデータ 実装 ライブラリのインストール 関数の定義 概要 解説 実行 はじめに LangChain とは、大規模言語モデル (LLM) アプリケーションを効率よく実装するためのフレームワークです。
技術ブログを絞り込む

TECH PLAY でイベントをはじめよう

グループを作れば、無料で誰でもイベントページが作成できます。情報発信や交流のためのイベントをTECH PLAY で公開してみませんか?