「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 271 - 285件目
VPC Service ControlsでIPアドレス許可がうまくいかないときはこれを疑え
2023/11/30
ブックマーク
G-gen の堂原です。本記事では Google Cloud (旧称 GCP) のセキュリティサービスである VPC Service Controls において、IP アドレスを許可したにも関わらずアクセスが弾かれるケースにおける見落としがちな原因について紹介します。 はじめに 事象 : IP アドレスを許可したはずがアクセス失敗 原因 : IPv6 アドレスでアクセスしていた 確認方法 解消方法 はじめに VPC Service Controls は Goo
Dataflowを使った大規模言語モデル（LLM）のストリーミング処理
2023/11/29
ブックマーク
はじめに こんにちは、クラウドエース データMLディビジョン所属の伊藤です。 今回は Apache Beam の RunInference という機能を使って、Google Cloud の Dataflow で大規模言語モデルを使ったストリーミング処理（リアルタイム処理）を行う方法を紹介したいと思います。 LLM とは 大規模言語モデル（Large Language Model、LLM）とは、GPT-3 や PaLM2 などのように、大量のテキストデータを使
[Vertex AI Extensions の活用・構築]Google Cloud Next '23 のセッション
2023/11/28
ブックマーク
はじめに こんにちは、クラウドエースのシステム開発部 SRE ディビジョンの渡辺です。Google Cloud Next Tokyo '23 で目の当たりにした生成 AI の可能性に心躍り、その興奮は今も続いています。 今回は、Google Cloud Next Tokyo '23 で参加したセッションの中から、Vertex AI Extensions についてその概要とセッションの要点に焦点を当てて紹介します。 ! 記事執筆時点（2023年11月） 本記事で
週刊AWS – 2023/11/20週
2023/11/27
ブックマーク
みなさん、こんにちは。ソリューションアーキテクトの杉山です。 今週も 週刊AWS をお届けします。 AWS re:Invent が今日から 12 月 1 日 までラスベガスで開催されています。現地に行けない方でも、キーノートとイノベーショントークのライブ配信を視聴頂けます。 こちら からご登録ください。また、ご登録頂くとオンデマンドでいくつかの動画が視聴できるようになりま
Google Cloud BigQuery と Amazon QuickSight で統合ビジネスインテリジェンスを最大限に活用できます
2023/11/21
ブックマーク
Amazon QuickSight は、クラウドネイティブなサーバーレスビジネスインテリジェンス (BI) サービスです。ビジュアライゼーションの構築、アドホックな分析の実行、異常検知、予測、自然言語クエリなどの機械学習 (ML) 機能によってインサイトを得ることが可能です。また QuickSight は高性能なインメモリエンジンである SPICE (Super-fast, Parallel, In-memory Calculation Engine)を利用して迅
Pub/Sub の BigQuery Change Data Capture 機能について
2023/11/20
ブックマーク
1. はじめに こんにちは、クラウドエース データML ディビジョンの木村です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査
BigLake メタデータ キャッシュ対応テーブルに対してのマテリアライズド ビュー作成が GA になりました
2023/11/17
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の仲佐です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調
Google Cloud Next Tokyo '23速報レポート
2023/11/17
ブックマーク
G-gen の杉村です。2023/11/15から2023/11/16までの二日間、東京ビッグサイトにて4年ぶりの現地開催となる Google Cloud Next Tokyo '23 が開催されました。当記事ではその発表内容についてレポートします。 開催場所 展示内容 一日目 基調講演（キーノート） 二日目 基調講演（キーノート） Vertex AI におけるグラウンディング G-gen スポンサーセッション 動画の公開 開催場所 Google Cloud
Google Cloud Storage のオブジェクトのメタデータを自動収集するインベントリ レポート機能の紹介
2023/11/16
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の池上有希乃です。 データML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 たとえ
新米Google Cloud管理者の奮闘記のその後 〜Organizationの秩序を維持する試み〜
2023/11/15
ブックマーク
こんにちは、技術本部ML・データ部データ基盤ブロックの塩崎です。最近の気になる論文は、こちら 1 の動物病院での猫のストレスが音楽によって低減されるというものです。 さて、2年前にGCPの新米管理者になり色々と頑張っていますという内容のブログを公開しました。当時は対応が後手に回ってしまっていた内容でしたが、その後2年が経ったので、最近のGoogle Cloud管
Vertex AI Searchで外部Webサイトから要約回答を生成するRAGを構築してみた
2023/11/14
ブックマーク
G-gen 又吉です。当記事では、LangChain と Vertex AI Search で Google Cloud 公式ドキュメントから回答を生成する LLM を構築してみたいと思います。 はじめに Vertex AI Search and Conversation とは LangChain とは 今回の構成 環境構築 API の有効化 Vertex AI Search データストア アプリ 実行環境 初期設定 ライブラリインストール ユーティリティ関数 モデルの初期化 Vertex AI Search 関数 テキスト分
BigQuery の検索インデックスがさらに便利になりそうです
2023/11/13
ブックマーク
TL; DR BigQuery の検索インデックス機能を使えば、大規模なデータセットからごく少量のデータを取得する際の処理時間と課金されるバイト数がかなり削減できます この機能を一般的によく使われる演算子でも実行できるようになれば、日々の分析やログ検索におけるコスト削減に大きく貢献しそうです はじめに こんにちは、クラウドエース データML ディビジョン所属の田
Data Catalogを徹底解説！
2023/11/13
ブックマーク
G-gen の杉村です。Google Cloud のメタデータ管理ツールである Data Catalog を解説します。 概要 Data Catalog とは Data Catalog の機能 データカタログの利点 メタデータとは データ検索機能 検索方法 クエリの構文 メタデータ管理機能 Data Catalog が自動収集するメタデータ Google Cloud 以外のカタログ化 テクニカルメタデータとビジネスメタデータ テクニカルメタデータ ビジネスメタ
Dataplexを徹底解説！
2023/11/08
ブックマーク
G-gen の神谷です。本記事では、Google Cloud のスケーラブルでサーバレスなデータ管理ツールである Dataplex を徹底解説します。 Dataplex の概要 Dataplex とは メリット データメッシュとは 構成とオブジェクト Dataplex Discovery Dataplex Discovery とは Discovery Action アクセス制御 認証・認可 (IAM) IAM の基本的な理解 アセットと IAM プロジェクトをまたぐ権限管理 VPC Service Controls 属性ストア
Vertex AI Pipelines のTabular Workflow for Forecasting
2023/11/07
ブックマーク
こんにちは、クラウドエース データML ディビジョン所属の江藤です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、 毎週Google Cloudの新規リリースを調査・発表し、