TECH PLAY

Apache Spark

イベント

該当するコンテンツが見つかりませんでした

マガジン

技術ブログ

G-gen の杉村です。2026年4月に発表された、Google Cloud や Google Workspace のイチオシアップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Google Cloud Next '26 の開催 プロダクトの名称変更 概要 Looker Studio → Data Studio(和名: データポータル) Dataplex Universal Catalog → Knowledge Catalog Cloud Composer → Managed Service for Apache Airflow BigLake → Google Cloud Lakehouse Dataproc → Managed Service for Apache Spark Vertex AI → Gemini Enterprise Agent Platform Google Cloud のアップデート オープンモデル Gemma 4 がリリース Cloud Armor に match condition builder が登場(Preview) Google の動画生成 AI モデル Veo 3.1 Lite が Preview 公開 Google Cloud の VPC で Hybrid Subnets が使用可能に Google Cloud コンソールでも Load Balancer 作成時に Certificate Manager 証明書アタッチが可能に Pub/Sub で AI Inference Single Method Transform (SMT)機能が一般公開 BigQuery に AI.AGG 関数が登場(Preview) Cloud SQL でストレージの縮小ができるように すべての Google Cloud 認定資格で日本語版が受験可能に BigQuery Graph が Preview 公開 Privileged Access Manager(PAM)で将来の IAM 権限付与を予約できるように Colab Enterprise で visualization cells が使えるように Cloud Run woker pools が Preview 版 → 一般公開(GA) Google Cloud〜AWS間のPartner Cross-Cloud Interconnectが一般公開(GA) Gemini Enterprise 用の専用 IAM ロールが登場 データポータルで BigQuery の Conversational Analytics が使用可能に Cloud Run でエフェメラルディスクが Preview 公開 Gemini Cloud Assist のサイドパネルが強化 Gemini Enterprise app でカスタム MCP サーバーが接続可能に BigQuery の CDC テーブルからマテリアライズドビューを作成可能に Compute Engine、GKE、Cloud Storage で「AI Zone」が公開 Google SecOps が VPC Service Controls に対応 VPC Service Controls の ingress/egress ルールで IAM ロールが使用可能に Google Workspace のアップデート Google Vids から YouTube への直接エクスポートが可能に Chrome 拡張機能 Google Vids Screen Recorder が登場 Gemini アプリの macOS 版ネイティブデスクトップアプリが登場 Gemini アプリで会話結果から Docs や PDF を生成可能に Google Meet の Take notes for me(自動議事録)のカスタマイズが可能に はじめに 当記事では、毎月の Google Cloud(旧称 GCP)や Google Workspace(旧称 GSuite)のアップデートのうち、特に重要なものをまとめます。 また当記事は、Google Cloud に関するある程度の知識を前提に記載されています。前提知識を得るには、ぜひ以下の記事もご参照ください。 blog.g-gen.co.jp リンク先の公式ガイドは、英語版で表示しないと最新情報が反映されていない場合がありますためご注意ください。 Google Cloud Next '26 の開催 Google Cloud の旗艦イベントである Google Cloud Next が、米国ネバダ州ラスベガスにおいて4月22日(水)から24日(金)までの3日間、開催された。 Agentic(エージェンティックな、自律的な)をテーマに、数多くの新機能が発表された。発表された機能の中には、既に一般公開(GA)されているもの、Preview 公開されているもの、まだ使用可能になっていないものなどが混同している。 主要な発表がされたキーノート(基調講演)については、以下の記事を参照されたい。 blog.g-gen.co.jp blog.g-gen.co.jp また G-gen では、現地に派遣したエンジニアや日本からリモートで情報収集するエンジニアが、各種セッションレポートを公開している。以下のカテゴリ一覧から、Google Cloud Next '26 の関連記事にアクセスできる。 blog.g-gen.co.jp プロダクトの名称変更 概要 2026年4月には以下のように、プロダクトの名称変更が相次いだ。 旧名称 新名称 Looker Studio Data Studio(和名: データポータル) Dataplex Universal Catalog Knowledge Catalog Cloud Composer Managed Service for Apache Airflow BigLake Google Cloud Lakehouse Dataproc Managed Service for Apache Spark Vertex AI Gemini Enterprise Agent Platform Gemini Enterprise Gemini Enterprise app Looker Studio → Data Studio(和名: データポータル) Data Studio returns as new home for Data Cloud assets (2026-04-11) Looker Studio は Data Studio(和名: データポータル)に名前が再変更された。昔の名前に戻ったことになる。経緯は以下のとおり。 もともとは「英名: Data Studio / 和名: データポータル」という名称だった 日本では商標の関係で「Data Studio」という名称が使えないため「データポータル」と表記される 2022年10月の Google Cloud Next '22 で「Looker Studio」に名前が変更され、Looker ブランドに統一された。Looker と Looker Studio の2つの製品が存在する状態になり、混乱を呼んだ 2026年4月に「英名: Data Studio / 和名: データポータル」に戻った システム的には以下の変更がされた。 UI 上の表記が「データポータル(Data Studio)」になった 従来の URL( lookerstudio.google.com )にアクセスすると、新しい URL( datastudio.google.com )にリダイレクトされる Dataplex Universal Catalog → Knowledge Catalog Knowledge Catalog release notes - April 10, 2026 Dataplex Universal Catalog は Knowledge Catalog に改名された。 フルマネージドのデータカタログサービス。今回で4回目の名称変更となる。名称の変遷は以下のとおり。 Data Catalog → Dataplex Catalog → BigQuery universal catalog → Dataplex Universal Catalog → Knowledge Catalog Cloud Composer → Managed Service for Apache Airflow Cloud Composer release notes - April 15, 2026 Cloud Composer は Managed Service for Apache Airflow に改名された。 フルマネージドの Apache Airflow であり、データパイプラインの実装等に使われるマネージドサービス。 BigLake → Google Cloud Lakehouse What is Google Cloud Lakehouse? (2026-04-20) BigLake が Google Cloud Lakehouse に改称。 Google Cloud Lakehouse は、Apache Spark、Apache Flink、Trino といったオープンソースのクエリエンジンとの互換性を持つ、レイクハウスフレームワーク。BigQuery を基幹技術とする。 Dataproc → Managed Service for Apache Spark Managed Service for Apache Spark cluster deployment overview (2026-04-22) Dataproc が Managed Service for Apache Spark に改称。 Managed Service for Apache Spark はその名のとおり、フルマネージドの Apache Spark クラスタ。 Vertex AI → Gemini Enterprise Agent Platform Vertex AI to Gemini Enterprise Agent Platform naming changes (2026-04-22) Vertex AI は、Gemini Enterprise Agent Platform と改名された。これに伴い、これまで Gemini Enterprise と呼ばれていた Web サービスは、Gemini Enterprise app と改名された。また Vertex AI プロダクト群は、以下のように名称が変更となる(一部のみ抜粋)。 旧称 旧名称 Vertex AI Gemini Enterprise Agent Platform Gemini Enterprise Gemini Enterprise app Generative AI on Vertex AI Generative AI Vertex AI Studio Agent Studio Vertex AI API Agent Platform API Vertex AI Agent Engine Agent Runtime Vertex AI Search Agent Search Vertex AI Search for Commerce Agent Search for Commerce Vertex AI Conversation Agent Conversation Vertex AI Vector Search Vector Search Vertex AI Training Agent Platform Managed Training Vertex AI Pipelines Agent Platform Pipelines Google Cloud のアップデート オープンモデル Gemma 4 がリリース Gemma 4 モデルの概要 (2026-03-31) オープンモデル Gemma 4 がリリース。商用利用可。以下の種類がある。 E2B / E4B : モバイル、エッジ、ブラウザ向け 31B : より高密度 26B A4B : 高スループットで高度な推論向け Cloud Armor に match condition builder が登場(Preview) Use the match condition builder (2026-03-31) フルマネージド WAF である Cloud Armor に match condition builder が登場(Preview)。 CEL 文を書く時の UI 補助ツール。ルールを書く負担が軽減される。 Google の動画生成 AI モデル Veo 3.1 Lite が Preview 公開 Veo 3.1 Lite Generate Preview (2026-04-02) Google の動画生成 AI モデル Veo 3.1 Lite が Preview 公開。 Veo 3.1 < 3.1 Fast < 3.1 Lite の順で生成秒数あたりの料金単価が安く、Lite が最も安価なモデルとなる。 Google Cloud の VPC で Hybrid Subnets が使用可能に About migrating to Google Cloud with Hybrid Subnets (2026-04-03) Google Cloud の VPC で Hybrid Subnets が使用可能になった。 クラウド側サブネットにオンプレと同じ CIDR を持たせ、IP アドレスを変えずにサーバーをクラウドへ移行できる。オンプレ側ルーターに Proxy ARP の設定が必要であり、またクラウド側のルーティングも少しトリッキーになる。 Google Cloud コンソールでも Load Balancer 作成時に Certificate Manager 証明書アタッチが可能に Google Cloud release notes - April 05, 2026 (2026-04-05) Cloud Load Balancer 作成時に Certificate Manager 証明書のアタッチが Google Cloud コンソールでもできるようになった。 従来は DNS 認証した証明書だと gcloud コマンド等を使う必要があった。今後は証明書マップを UI 上で選択できる。 Pub/Sub で AI Inference Single Method Transform (SMT)機能が一般公開 AI Inference SMT (2026-04-06) Pub/Sub で AI Inference Single Method Transform (SMT)機能が一般公開。Pub/Sub トピックまたはサブスクリプション内のメッセージを Gemini 等の AI モデルで加工。以下のような用途がある。 メッセージに対してリアルタイムで AI モデルによる推論結果を追加(エンリッチメント) アプリケーション側の処理のオフロード 以下の記事も参照。 blog.g-gen.co.jp BigQuery に AI.AGG 関数が登場(Preview) The AI.AGG function (2026-04-06) BigQuery に AI.AGG 関数が登場(Preview)。Cloud Storage 上の非構造化データ(画像またはテキスト)に対して Gemini を使い「意味的な集計」のような処理ができる。感情分析、コンテンツ要約、ログ分析など。 Cloud SQL でストレージの縮小ができるように About storage shrink (2026-04-06) Cloud SQL でストレージの縮小ができるようになった。従来は拡大はできたが縮小はできなかった。インスタンスの再起動が必要。 プライマリインスタンスとリードレプリカの両方で可能。 すべての Google Cloud 認定資格で日本語版が受験可能に Google Cloud 認定資格の一覧を解説。全部で何個ある?難易度は? (2026-04-08) これまで日本語版しか提供されていなかった以下の2試験の日本語版が公開された。 Professional Security Operations Engineer Professional Cloud Database Engineer これをもって、14種類すべての Google Cloud 認定資格が、日本語で受験可能になった、 以下の記事も参照。 blog.g-gen.co.jp BigQuery Graph が Preview 公開 Introduction to BigQuery Graph (2026-04-09) BigQuery Graph が Preview 公開。 Graph Query Language(GQL)を使ってデータ間の関係性を可視化できる。CREATE PROPERTY GRAPH 文でノードテーブル・エッジテーブルを事前に定義。 Privileged Access Manager(PAM)で将来の IAM 権限付与を予約できるように Grant scheduling (2026-04-13) Privileged Access Manager(PAM)で将来の IAM 権限付与を予約できるようになった。最大7日後の予約が可能。 Colab Enterprise で visualization cells が使えるように Use visualization cells (2026-04-13) Colab Enterprise で visualization cells が使えるように。データフレームに入れた値を基にチャート(図表)を簡単に UI で作成できる。BigQuery → df → 可視化を UI 上で簡単に行える。 Colab Enterprise の visualization cells Cloud Run woker pools が Preview 版 → 一般公開(GA) Deploy worker pools to Cloud Run (2026-04-14) Cloud Run woker pools が Preview 版 → 一般公開(GA)。 Pub/Sub などに対してタスクを取得する pull 型ワークロードを実行するためのフルマネージドのコンテナ基盤。高いコスト効率でコンテナのジョブを実行できる。 Google Cloud〜AWS間のPartner Cross-Cloud Interconnectが一般公開(GA) Partner Cross-Cloud Interconnect for AWS overview (2026-04-14) Google Cloud と AWS を容易に専用線接続できる Partner Cross-Cloud Interconnect が一般公開(GA)。 VPC ピアリングまたは Network Connectivity Center 経由で接続できるため、かなり手軽に Google Cloud 〜 AWS 間で専用線確立が可能。 最短で当日中に接続を確立できる。帯域は1Gbps〜100Gbps。 Gemini Enterprise 用の専用 IAM ロールが登場 IAM roles and permissions (2026-04-15) Gemini Enterprise 用の専用 IAM ロールが登場。 Gemini Enterprise 管理者( roles/discoveryengine.agentspaceAdmin ) Gemini Enterprise ユーザー( roles/discoveryengine.agentspaceUser ) これまでは事前定義ロールとして「ディスカバリー エンジン管理者( roles/discoveryengine.admin )」および「ディスカバリー エンジン ユーザー( roles/discoveryengine.user )」が存在していた。 なお2026年4月現在、これらのロールはそれぞれ名称が違うだけで、含まれている権限が全く同一である。 Gemini Enterprise 管理者 <=> ディスカバリー エンジン管理者 Gemini Enterprise ユーザー <=> ディスカバリー エンジン ユーザー データポータルで BigQuery の Conversational Analytics が使用可能に Data agents in Data Studio (2026-04-16) データポータル(先日、Looker Studio から改名した)の画面から、BigQuery の Conversational Analytics(会話型分析)を使用できるようになった。 データポータル Proライセンスは不要。BigQuery でデータエージェントを作成して、一般従業員にエージェントを配ることが容易になった。 データポータルから BigQuery のデータエージェントを使用する Cloud Run でエフェメラルディスクが Preview 公開 Configure an ephemeral disk for Cloud Run services (2026-04-20) Cloud Run でエフェメラルディスクが Preview 公開。 ext4 フォーマットの一時ディスク。インスタンス停止で消去される。 service、job、worker pool いずれでも使用可。従来の /tmp はインメモリのためメモリ料金を消費したが、今後は一時ディスクに逃がせる。 Preview 公開されている2026年4月現在、料金の表記はない。 Gemini Cloud Assist のサイドパネルが強化 Gemini Cloud Assist release notes - April 22, 2026 (2026-04-22) 日本語でも使える 表示させているコンソール画面をコンテキストとして読み取る グラウンディング有無を設定 カスタムインストラクション など。その他にも Private Preview で MCP への対応など。 Gemini Cloud Assist のサイドパネルが強化 Gemini Enterprise app でカスタム MCP サーバーが接続可能に Set up your custom MCP server data store (2026-04-22) Gemini Enterprise app でカスタム MCP サーバーをデータストアとして接続できるようになった(Preview)。 認証は OAuth。MCP 準拠の外部システムや社内データに Gemini Enterprise app からアクセスできる。 BigQuery の CDC テーブルからマテリアライズドビューを作成可能に Tables with active change data capture (2026-04-28) BigQuery の CDC(change data capture)適用テーブルをベーステーブルとして、マテリアライズドビューを作成可能になった。 ストリーミングデータを受け取るテーブルをベースに、自動更新のマテビューを作成でき、運用負荷の軽減になる。 Compute Engine、GKE、Cloud Storage で「AI Zone」が公開 AI Zones (2026-04-27) Google Cloud で「AI Zone」が公開。Compute Engine、GKE、Cloud Storage が対応。 us-south1-ai1b のような名称の特殊なゾーン。GPU や TPU が優先的に提供される代わりに一部サービスは提供されない。オランダ、テキサス、アイオワのリージョンで使用可能。地理的に隔離されているため、通常ゾーンとのレイテンシは比較的大きい。 Google SecOps が VPC Service Controls に対応 Configure VPC Service Controls for Google SecOps (2026-04-30) Google SecOps の VPC Service Controls 対応が一般公開(GA)。Google SecOps は Google の SIEM 製品。VPC Service Controls による IP アドレス制御や、コンテキストアウェアなアクセス制御が可能になった。 VPC Service Controls の ingress/egress ルールで IAM ロールが使用可能に Configure IAM roles in ingress and egress rules (2026-04-30) VPC Service Controls の ingress/egress ルールで、IAM ロールを使用した許可設定が可能に(Preview → GA)。 これまでプリンシパルやメソッドの指定ができたが特定の IAM ロールを持っている場合のみアクセス許可するよう設定できるようになった。以下の記事も参照。 blog.g-gen.co.jp Google Workspace のアップデート Google Vids から YouTube への直接エクスポートが可能に Export Google Vids directly to YouTube (2026-04-02) Google Vids から YouTube への直接エクスポートが可能に。 MP4 で一度エクスポートする必要がない。限定公開動画のエクスポートも可能。 Chrome 拡張機能 Google Vids Screen Recorder が登場 Record your screen directly from Chrome with the Google Vids Screen Recorder Chrome Extension (2026-04-02) Chrome 拡張機能「Google Vids Screen Recorder」が登場。ブラウザ画面を録画して直接 Google Vids に記録できるため編集や共有が容易になる。 Google Workspace でも個人アカウントでも利用可能。 Gemini アプリの macOS 版ネイティブデスクトップアプリが登場 Gemini アプリが Mac に登場 (2026-04-15) Gemini アプリの macOS 版ネイティブデスクトップアプリが登場。 Web 版にない機能として、画面共有して Gemini に質問する機能などがある。 Gemini アプリで会話結果から Docs や PDF を生成可能に Move from conversation to creation with file generation in Gemini (2026-04-27) Gemini アプリで会話結果から Google ドキュメント、スプレッドシート、Microsoft Word(.docx)、Microsoft Excel(.xlsx)、PDF などのファイルを直接、生成可能になった。その他の対応フォーマットは以下のとおり。 Google Workspace files (Docs, Sheets, and Slides) PDF file Microsoft Word (.docx) Microsoft Excel (.xlsx) CSV file (.csv) LaTeX (.tex) Plain Text (.txt) Rich Text Format (.rtf) Markdown (.md) Gemini アプリで会話結果から Docs や PDF を生成可能に Google Meet の Take notes for me(自動議事録)のカスタマイズが可能に New ways to customize AI-generated meeting notes (2026-04-30) Google Meet の Take notes for me(自動議事録)のカスタマイズが可能に。メモの長さや決定事項を入れるかどうかなど。 ただし、一部機能は英語にしか対応していない。詳細なカスタムプロンプトを入れられるわけではない。2026年4月30日から15日間かけて段階的ロールアウト。 杉村 勇馬 (記事一覧) 執行役員 CTO 元警察官という経歴を持つ IT エンジニア。クラウド管理・運用やネットワークに知見。AWS 認定資格および Google Cloud 認定資格はすべて取得。X(旧 Twitter)では Google Cloud や Google Workspace のアップデート情報をつぶやいています。 Follow @y_sugi_it
はじめに Apache Spark(以下Spark)からApache Iceberg(以下Iceberg)に対して、MERGE INTOを実行するユースケースは、差分更新やCDC(Change Data Capture)の取り込み、冪等性の担保においてよく使われます。実際にupsertを実現したいという要件から、MERGE INTOが利用できるIcebergを選択するケースもあります。 一方で、MERGE INTOは単純なINSERTやUPDATEと比較して、処理が複雑です。内部的にはsourceテーブルとtargetテーブルの突合が必要となり、Spark内部でシャッフルが発生するこ
G-gen の佐々木です。当記事では、Google Cloud Next '26 で発表された BigQuery に関する新機能について、公式の投稿記事「 What’s new in BigQuery: Powering the Agentic Era 」の内容をもとに紹介します。 はじめに Open, cross-cloud lakehouse Managed Iceberg Tables(GA) Iceberg REST Catalog の読み書き相互運用性(Preview) Cross-Cloud Lakehouse(Preview) Catalog Federation(Preview) リアルタイムデータレプリケーション(GA / Preview) Graph-based reasoning for enterprise agents BigQuery Graph(Preview) BigQuery Graph におけるメジャーのネイティブサポート(Preview) BigQuery Conversational Analytics におけるグラフサポート(Preview) BigQuery Graph と Looker の統合(Preview) BigQuery Studio での視覚的なモデリング機能(Preview) Native AI processing to unlock structured and unstructured data AI.PARSE_DOCUMENT(Preview) TabularFM(Preview) ObjectRef(GA) AI 連携関数の最適化モード(Preview) BigQuery ネイティブの Gemma エンベディング(Preview) 自律型エンベディング生成(GA) BigQuery Hybrid Search(Preview) Python UDF(GA / Preview) コネクテッドシートにおける TimesFM モデルの利用(GA / Preview) Geospatial Analytics Datasets(Preview) Agentic experiences BigQuery における Conversational Analytics(GA / Preview) Proactive Agentic Workflows(Preview) BigQuery Agent Analytics(GA / Preview) BigQuery Studio の新機能群(GA / Preview) データサイエンスエージェント(GA) Colab Data Apps(Preview) BigQuery Remote MCP Server(GA) BigQuery ADK Toolset(GA) Google Cloud Data Agent Kit(Preview) Unparalleled performance and scale Fluid Scaling(GA) 高度なランタイム、小規模クエリ、履歴ベースの最適化(GA) 新しいワークロード管理機能(GA / Preview) 可観測性の向上(GA / Preview) はじめに 以下の Google 公式投稿を参考に、Google Cloud Next '26 で発表された BigQuery の新機能を紹介します。なお、当記事で紹介する機能の提供ステータス(GA / Preview / Coming Soon)は 2026年4月23日現在の情報です。 参考 : What’s new in BigQuery: Powering the Agentic Era 他の Google Cloud Next '26 の関連記事は、Google Cloud Next '26 カテゴリの記事一覧から参照してください。 blog.g-gen.co.jp Open, cross-cloud lakehouse Managed Iceberg Tables(GA) Google Cloud Lakehouse (旧称 : BigLake )は、 Apache Iceberg などのオープンテーブル形式と Google Cloud のマネージドストレージを組み合わせた、オープンデータレイクハウス向けのストレージエンジンです。 Google Cloud Lakehouse における Managed Iceberg Tables は、OSS である Apache Iceberg のマルチエンジン互換性と BigQuery の高度な機能を組み合わせたマネージドな Iceberg テーブルで、自動テーブル管理、Iceberg パーティショニング、マルチテーブルトランザクション、変更データキャプチャ(CDC)、強化されたベクトル化(Enhanced Vectorization)、履歴ベースの最適化(History-based Optimizations)を提供します。 参考 : Google Cloud Lakehouse とは 参考 : Apache Iceberg テーブル Iceberg REST Catalog の読み書き相互運用性(Preview) Iceberg REST Catalog は、BigQuery、Spark、その他 OSS / サードパーティエンジンの間で Iceberg テーブルを共有するためのカタログです。 カタログ上での Iceberg テーブルに対する 読み書きの相互運用性 (Read/Write Interoperability)により、複数の Iceberg 互換エンジン(Apache Spark、Trino など)から Iceberg テーブルを作成 / 更新 / クエリできるようになります。 参考 : Openness without compromises for your Apache Iceberg lakehouse Cross-Cloud Lakehouse(Preview) Cross-Cloud Lakehouse は、AWS や Azure など Google Cloud 以外のクラウド上のデータに対して、データ移行や ETL を行うことなく BigQuery の分析機能や AI 機能をそのまま適用できる機能です。たとえば、Amazon S3 Iceberg 上のデータに対して Gemini Enterprise のエージェントや BigQuery の AI 関数などを実行できます。 Iceberg REST Catalog によるオープンスタンダードなテーブル共有と、 Cross-Cloud Interconnect によるクラウド間の高帯域幅ネットワークを組み合わせることで実現されています。 参考 : クロスクラウド レイクハウスについて 参考 : The future of data lakehouse: Open and interoperable for the agentic era 基盤技術である Cross-Cloud Interconnect については以下の記事をご一読ください。 blog.g-gen.co.jp Catalog Federation(Preview) Catalog Federation は、外部のメタデータカタログを BigQuery 側でフェデレーションする機能です。 AWS Glue、Databricks、SAP、Salesforce、Snowflake のカタログに対応しており、Confluent Tableflow についても2026年後半に提供予定です。データの発見、分析、ゼロコピー共有を、複数のカタログをまたいで実現できます。 リアルタイムデータレプリケーション(GA / Preview) Spanner 、 AlloyDB 、 Cloud SQL から BigQuery へのリアルタイムレプリケーション(GA)と、Iceberg テーブルへのレプリケーション(Preview)が提供されます。これにより、データベースの変更をリアルタイムに分析基盤側へ反映でき、レプリケーションパイプラインを別途整備する必要がなくなります。 Graph-based reasoning for enterprise agents BigQuery Graph(Preview) BigQuery Graph は、BigQuery 上でデータをグラフとしてモデル化 / 分析 / 可視化できるグラフ分析機能です。SQL の CREATE PROPERTY GRAPH 文で既存の BigQuery テーブルに対してエンティティ(ノード)と関係性(エッジ)を直接定義でき、データの移動や重複を伴わずにグラフ分析を行えます。 従来の SQL では「友達の友達の友達」のような多段階の関係性分析に複数の JOIN を入れ子にする必要があり、SQL の記述・読解が難しいうえ、データ規模が大きくなるとパフォーマンスが急激に低下する点が課題でした。グラフ分析では、データをノードとエッジの集合としてモデル化することで、こうした多段階の関係性を直感的に記述でき、深い探索もスケーラブルに実行できます。 BigQuery Graph はこうしたグラフ分析を BigQuery 上でネイティブに実行できる基盤として、不正検知、Customer 360、サプライチェーン分析、ソーシャルネットワーク分析などのユースケースに対応します。 参考 : BigQuery Graph の概要 参考 : BigQuery Graph のご紹介 : データに潜む関係性を明らかに BigQuery Graph におけるメジャーのネイティブサポート(Preview) メジャー (売上や解約率といった集計値を再利用可能な形で定義したもの)が BigQuery Graph 上でネイティブサポートされるようになりました。 これにより、メジャーとエンティティ間のリレーションシップを1つのガバナンスされた定義に統合でき、AI エージェントは単なる検索や集計に留まらず、あるビジネスイベントが他の指標にもたらす影響をマルチホップで辿るような構造的推論を行えるようになります。 参考 : メジャーを使用する BigQuery Conversational Analytics におけるグラフサポート(Preview) 自然言語データ分析の Conversational Analytics が BigQuery Graph と連携できるようになりました。会話分析エージェントが生テーブルではなくグラフ上のエンティティと関係を辿って推論するため、回答の精度が向上します。メジャーを用いて正確な KPI を計算すると同時に、関係性を辿ることで「なぜその数字になっているか」を発見できます。 BigQuery における Conversational Analytics の詳細については、以下の記事をご一読ください。 blog.g-gen.co.jp BigQuery Graph と Looker の統合(Preview) BigQuery Graph と Looker の統合により、BigQuery Graph をそのまま Looker のビューとして公開でき、定義した指標をデータスタック全体で再利用できます。 逆方向のユースケースとして、Looker 側で BigQuery Graph を定義することもできます。これにより、Looker が標準で備えるバージョン管理(Git 連携)や検証機能を、グラフ定義の変更管理にそのまま適用できます。 BigQuery Studio での視覚的なモデリング機能(Preview) BigQuery Studio 上で、BigQuery Graph のエンティティ、リレーションシップ、ビジネスロジックを視覚的に構築 / 管理できる新しいインターフェースが追加されました。グラフスキーマの設計を SQL の CREATE PROPERTY GRAPH 文だけでなく UI 上からも進めることができます。 Native AI processing to unlock structured and unstructured data AI.PARSE_DOCUMENT(Preview) マネージド AI 関数の1つである AI.PARSE_DOCUMENT は、OCR(光学文字認識)、レイアウト解析、チャンク分割を自動化する SQL 関数です。複雑なドキュメント処理ワークフローを別途のパイプラインを構築せずに簡素化でき、非構造化ドキュメントの取り込みを SQL で完結できます。 TabularFM(Preview) TabularFM は、表形式データに対する高品質な回帰・分類機能を提供する基盤モデルです。事前学習済みのモデルとして提供されるため、特徴量選択、チューニング、モデルトレーニング、デプロイ後のモデル管理といった工程を経ずに、SQL から直接呼び出して予測結果を得られます。 従来の BigQuery ML では、表形式データに対する分類・回帰モデルをユースケースごとに用意する必要があり、本格的に運用するまでに一定のセットアップコストがかかっていました。TabularFM はこれを共通の基盤モデルに置き換え、典型的な分類・回帰タスクをモデル開発の工程を踏まずに試せるようにします。 ObjectRef(GA) ObjectRef 値 は、SQL や Python から非構造化データと構造化データを並行して扱うための値です。以下のフィールドを持つ STRUCT として表現されます。 フィールド 型 モード 説明 uri STRING REQUIRED Cloud Storage オブジェクトの URI version STRING NULLABLE オブジェクトのバージョン authorizer STRING NULLABLE 委任アクセス用の BigQuery 接続 ID。直接アクセスの場合は NULL details JSON NULLABLE オブジェクトのメタデータや処理時のエラー情報などが入る ObjectRef 値を操作するための SQL 関数として、以下の4種類がサポートされています。 関数 用途 OBJ.FETCH_METADATA URI のみが埋まった ObjectRef 値に Cloud Storage 上のメタデータを取り込み、完全な ObjectRef 値を返す OBJ.GET_ACCESS_URL ObjectRef が指す Cloud Storage オブジェクトへのアクセス URL(読み取り / 読み書き)を JSON 値で返す(委任アクセスが必要) OBJ.GET_READ_URL ObjectRef が指す Cloud Storage オブジェクトの読み取り用 URL を STRUCT( url 、 status )で返す(URL は45分で失効、委任アクセスが必要) OBJ.MAKE_REF Cloud Storage URI などから ObjectRef 値を生成する 参考 : ObjectRef functions 参考 : ObjectRef 値を操作する AI 連携関数の最適化モード(Preview) Optimized Mode により、 AI.CLASSIFY や AI.IF などの SQL から呼び出せる AI 関数で、タスク固有のモデルをクエリ実行時に動的にトレーニングして利用できます。これにより、従来の行単位でモデルを呼び出す場合と比較して、トークン消費量を230分の1に削減できます。 BigQuery ネイティブの Gemma エンベディング(Preview) Gemma ベースの組み込みテキストエンベディングモデル embeddinggemma-300m が、 AI.EMBED 関数および AI.SIMILARITY 関数で利用できるようになりました。エンベディング生成には BigQuery のスロットがそのまま使われるため、GPU 環境を別途用意することなく、検索や RAG 向けのエンベディングパイプラインを構築できます。 参考 : The AI.EMBED function 参考 : The AI.SIMILARITY function 自律型エンベディング生成(GA) Autonomous Embedding Generation (自律型エンベディング生成)は、テーブルのテキスト列(STRING 列)から生成するベクトルエンベディングをフルマネージドで維持する機能です。エンベディングモデルが生成したベクトルを自動メンテナンスし、ソース列のデータが追加・更新されるたびに自動で再生成されます。これにより、煩雑になりがちなエンベディング作成・更新ジョブの運用を簡素化できます。 参考 : 自律型エンベディング生成 BigQuery Hybrid Search(Preview) BigQuery Hybrid Search はセマンティック検索と全文検索を単一の関数に統合する検索機能で、RAG や複雑な探索系ユースケースにおいて、単独の検索よりも高い精度を実現します。 Python UDF(GA / Preview) Python UDF は、Python で独自実装したスカラー関数を BigQuery で利用する機能です。データの拡張・変換・クリーニングなどが行え、コンテナを用いたサーバーレス実行環境により数百万行規模まで自動スケールします。 以下の機能が新たに Preview 提供となり、Python UDF は今後数週間にわたって段階的に GA となる見込みです。 Apache Arrow の RecordBatch インターフェースを使ったベクトル化 Python UDF を作成でき、行単位の呼び出しと比べてパフォーマンスを改善できる CPU 使用率、メモリ使用率、インスタンスごとの最大同時リクエスト数などのメトリクスを Cloud Monitoring にエクスポートできる CREATE FUNCTION 文に追加された container_request_concurrency オプションで、Python UDF のコンテナインスタンスごとの最大同時リクエスト数を制御できる イメージストレージのバイト数(プロジェクト・リージョンごとに 10 GiB)とミューテーションレート(プロジェクト・リージョンごとに1分あたり30回)の新しいクォータが適用される INFORMATION_SCHEMA.JOBS ビューの external_service_costs 列、および Job API の ExternalServiceCosts フィールドから Python UDF のコストを確認できる 参考 : Python のユーザー定義関数 コネクテッドシートにおける TimesFM モデルの利用(GA / Preview) コネクテッドシート は、BigQuery のスケールを Google スプレッドシート上で利用できる機能です。アップデートにより、組み込みの時系列予測モデル TimesFM を使った予測(GA)と異常検知(Preview)に対応し、業務担当者がスプレッドシートから大規模データに対する予測や異常検知を行えるようになります。 参考 : コネクテッド シートの使用 参考 : TimesFM モデル コネクテッドシートの利用方法については、以下の記事をご一読ください。 blog.g-gen.co.jp Geospatial Analytics Datasets(Preview) Geospatial Analytics Datasets は、 Google Maps Platform 由来のデータセットと Earth Engine のラスターデータおよび解析機能を BigQuery 上で直接扱えるようにする機能です。地理空間データの取得・前処理を自前で組まなくても、BigQuery の他のデータセットと同じ感覚で参照できます。 提供されるデータセットは以下の4種類です。 データセット 内容 Imagery Insights ストリートビューの画像 Places Insights Google マップ上のビジネス / スポットの集約データ Roads Management Insights 道路ネットワークの交通流・混雑状況 Earth Engine in BigQuery Earth Engine の衛星画像・ラスターデータと解析機能 参考 : Power up your BigQuery analysis with Google's new geospatial datasets Agentic experiences BigQuery における Conversational Analytics(GA / Preview) BigQuery の Conversational Analytics (対話型分析)は、自然言語を用いて BigQuery 上のデータに対する質問を生成 AI に投げかけ、分析を行うことができる機能です。予測分析や、構造化・非構造化データを横断した推論もサポートします。 BigQuery Studio および API 経由での利用は GA、データポータル(英名 : Data Studio、旧称 : Looker Studio)および Gemini Enterprise からの利用は Preview 提供となっています。 参考 : BigQuery の会話型分析 BigQuery の対話型分析機能の詳細については、以下の記事をご一読ください。 blog.g-gen.co.jp Proactive Agentic Workflows(Preview) Proactive Agentic Workflows は、エージェントが単なる対話型の質問応答を超えてプロアクティブに動作する機能です。指標の変化を検知して根本原因分析を行い、定期的な調査レポートをメールで直接配信するといったユースケースに対応します。 BigQuery Agent Analytics(GA / Preview) BigQuery Agent Analytics は、AI エージェントのアクティビティ(イベント)を BigQuery に記録し、分析できるようにする機能です。エージェントのトラブルシューティング、最適化、定量評価に活用できます。 エージェント向けのプラグインとして、 Agent Development Kit (ADK)向けのプラグインは GA、 LangGraph 向けのプラグインは Preview として提供されています。 BigQuery に記録されるイベントの種類は、以下のようなものがあります。 イベントの種類 内容 LLM interactions LLM へのプロンプト、モデル出力、エラーに関するイベント トークン使用量、生成にかかった時間なども記録される Tool usage ツール呼び出しの開始、完了、エラーに関するイベント ツールの呼び出し元( tool_origin )も記録される State Management エージェントの内部状態の変更に関するイベント Agent lifecycle & Generic Events エージェントの起動、実行完了、ユーザー入力の受信などのイベント Human-in-the-Loop (HITL) Events ユーザー認証情報の要求、ユーザーへの確認要求、ユーザーからの入力要求などの割り込みイベント 参考 : Use BigQuery agent analytics 以下の記事では、BigQuery Agent Analytics の ADK 向けプラグインの使い方を紹介しています。 blog.g-gen.co.jp BigQuery Studio の新機能群(GA / Preview) BigQuery Studio は BigQuery の各種機能を Google Cloud コンソールに統合した BigQuery 向けのワークスペースです。今回のアップデートで複数の機能が追加されました。 機能 ステータス 内容 コンテキスト認識型アシスタント Preview リソース探索やトラブルシューティングを支援 SQL Cells GA SQL と DataFrames を統合 Visualization Cells GA ノートブック内で直接ビジュアルを作成 Files Explorer GA フォルダ形式でコード資産を整理・共有・管理 Git Integration and Workflows Preview GitHub、GitLab、Bitbucket、Azure DevOps に対応した Git 連携 参考 : BigQuery 分析の概要 - BigQuery Studio データサイエンスエージェント(GA) データサイエンスエージェント (Data Science Agent)は、Colab Enterprise ノートブック上で動作する AI エージェントです。自然言語で目標を述べるだけで実行計画を自動生成し、データのロード、クリーニング、ビジュアライゼーションを自動で進めます。内部的には BigQuery ML、DataFrames、Spark を組み合わせて利用しています。 Colab Enterprise のほか、BigQuery Studio 上で Colab Enterprise ノートブックを開くことでも、データサイエンスエージェントを利用することができます。 参考 : BigQuery で Colab Enterprise データ サイエンス エージェントを使用する データサイエンスエージェントの詳細については、以下の記事をご一読ください。 blog.g-gen.co.jp Colab Data Apps(Preview) Colab Data Apps は、BigQuery Studio のノートブックで作成したデータ分析を、Python 製のインタラクティブアプリに変換できる機能です。アプリは BigQuery のスロットを使用してフルマネージドな環境で実行されます。 アプリの公開・共有はデータポータル側で行い、エンドユーザーはコードを編集することなく、UI 上で日付範囲やフィルタなどのパラメータを変更してデータを操作できます。 参考 : BigQuery とデータポータルで Colab Data Apps を使用する BigQuery Remote MCP Server(GA) BigQuery Remote MCP Server は、 Model Context Protocol (MCP)対応のリモートサーバーをマネージドで提供するものであり、AI エージェントが MCP を介して BigQuery を操作できるようになります。 参考 : Use the BigQuery MCP server Google Cloud が提供している MCP サーバーについては、以下の記事をご一読ください。 blog.g-gen.co.jp BigQuery ADK Toolset(GA) BigQuery ADK Toolset は、Agent Development Kit(ADK)を用いて構築したエージェントが BigQuery 上のデータを閲覧・操作するためのツールセットです。 参考 : BigQuery tool for ADK Google Cloud Data Agent Kit(Preview) Google Cloud Data Agent Kit は、IDE、ノートブック、ターミナルといった開発環境を問わずに利用可能な、エージェントによるデータ活用を支援する一連の機能を提供するスイートです。VS Code 拡張機能、MCP サーバー、Gemini CLI / Codex / Claude Code 向けのスターターパックといった複数の形態で提供されます。 エージェントは BigQuery、AlloyDB、Cloud SQL(MySQL / PostgreSQL)、Spanner、Cloud Storage などの Google Cloud 上のデータソースに接続し、以下のような作業を支援します。 Python や SQL でのクエリ実行、および自然言語による問い合わせを介したデータの検出・探索 Managed Service for Apache Spark や BigQuery でのデータエンジニアリングパイプラインの構築・テスト・デプロイ データの探索・クリーンアップから ML モデルの学習・デプロイまでを行う AI / ML 開発 組み込みの AI スキルやツールを使った反復的なタスクの自動化 参考 : VS Code 用 Data Agent Kit 拡張機能の概要 参考 : Data Agent Kit Starter Pack(GitHub) Unparalleled performance and scale Fluid Scaling(GA) Fluid Scaling は、変動の大きいワークロードに対して、コストとパフォーマンスのトレードオフを必要としない BigQuery 向けのオートスケーリング機能です。秒単位課金により細かい粒度でスケールでき、最大34%のコスト削減が可能です。 高度なランタイム、小規模クエリ、履歴ベースの最適化(GA) BigQuery のクエリエンジンに、 高度なランタイム 、 小規模クエリの最適化 、 履歴ベースの最適化 が適用されました。これらは BigQuery ネイティブテーブルと Iceberg テーブルの双方のワークロードに対して、コードやスキーマの変更なしに自動で適用されます。これにより、前年比でクエリ速度を35%向上させつつ、クエリ処理コストを40%削減しています。 新しいワークロード管理機能(GA / Preview) reservation groups (GA)、 flexible dynamic assignments (Preview)、 プロジェクトレベルのスロット / 同時実行制御 (Preview)といった新しいワークロード管理機能が追加され、きめ細かなコスト配分と価格性能比の制御ができるようになりました。さらに、 宣言型・ルールベースのワークロード管理 (Preview)により、これらの管理を簡素化できます。 可観測性の向上(GA / Preview) ミッションクリティカルなワークロード向けに、 Enhanced Observability (GA)、 Intersection Routing (Preview)、 Agent-Ready Security Center (Preview)といった可観測性・ディザスタリカバリ・セキュリティ関連の機能が追加・強化されました。さらに、 Agent-Powered Observability (Preview)により、AI エージェントによるターンキーなトラブルシューティングで運用を簡素化できます。 佐々木 駿太 (記事一覧) G-gen 最北端、北海道在住のクラウドソリューション部エンジニア 2022年6月に G-gen にジョイン。Google Cloud Partner Top Engineer に選出(2024 / 2025 Fellow / 2026)。好きな Google Cloud プロダクトは Cloud Run。 趣味はコーヒー、小説(SF、ミステリ)、カラオケなど。 Follow @sasashun0805

動画

該当するコンテンツが見つかりませんでした

書籍