「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全700件中 1 - 15件目
Google Workspaceの監査ログ 保持期間延長方法 ～BigQueryへ転送～
2025/01/28
ブックマーク
こんにちは。SCSKの磯野です。 Google Workspaceの監査ログは、保持期間が6か月程度のものがほとんどです。 例）SAML のログイベント データ：6か月 データの保持期間とタイムラグ - Google Workspace 管理者 ヘルプ レポート、セキュリティ調査ツール、監査と調査ページタイムラグにより、セキュリティ調
障害情報を活用した分析とレポーティングの取組み
2025/01/27
ブックマーク
こんにちは、テクノロジー本部の木村です。障害報告のデータによる障害傾向分析やレポーティングの取り組みについてご紹介します。 障害管理の改善を目指す方々に参考になれば幸いです。 障害報告の入力項目 集計項目とツール 障害発生率（当月の開発系起因の障害件数/当月のリリース件数） 検出時間・対応時間・復旧時間の月平均推移 想定損害金額 傾向分析 ま
Professional Data Engineer 完全攻略ガイド：データ取り込み編
2025/01/22
ブックマーク
はじめに こんにちは、クラウドエース 第三開発部の松本です。 普段はデータ基盤や機械学習システムを構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しています。 今回は、Professional Data Engineer 完全攻略ガイドのデータ取り込み編として、データエンジニアリング基礎編に続き、データ取り込みプロダクトを中心に試験対策の内容をご紹介します！ 尚
GoogleドライブをデータソースとするVertex AI Searchのウィジェットをウェブサイトに埋め込む
2025/01/22
ブックマーク
G-gen の堂原です。当記事では、 Google ドライブ をデータソースとする Vertex AI Search が提供するウィジェットを、 Cloud Run で構築したウェブサイトに埋め込む手順を紹介します。 はじめに 留意点 前提知識 Vertex AI Search 権限設計 Vertex AI Search の設定 事前準備 ドメインの許可設定 OAuth 同意画面作成 OAuth 2.0 クライアント ID 作成 Cloud Run サービス作成 処理の流れ ソースコード
BigQuery Data Transfer ServiceでPostgreSQLのデータを転送してみた
2025/01/21
ブックマーク
G-gen の杉村です。BigQuery Data Transfer Service で Cloud SQL にホストされた PostgreSQL のデータを転送する検証を行いましたので、共有します。 はじめに BigQuery Data Transfer Service とは 当記事について 環境のセットアップ Cloud SQL インスタンスの起動 テーブルとデータの準備 転送の作成 検証 初回転送 レコードの追加（差分転送） レコードの更新 レコードの削除 挙動のまとめ はじ
Dataform のアサーションを理解する
2025/01/16
ブックマーク
はじめに こんにちは、クラウドエース株式会社 第一開発部所属の工藤です。 本記事では、Dataform のアサーションについてまとめました。 この内容を詳しく書いている記事はあまりない印象なので、これから Dataform を使ってみようと考えている方はぜひご覧ください。 Dataform とは Dataform は、BigQuery Studio に含まれるプロダクトであり、BigQuery に格納しているデータの加工
Professional Data Engineer 完全攻略ガイド：データエンジニアリング基礎編
2025/01/15
ブックマーク
はじめに こんにちは、クラウドエース 第三開発部の松本です。 普段はデータ基盤や機械学習システムを構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しています。 この度、Google Cloud 認定 Professional Data Engineer 試験の完全攻略ガイドとして、試験対策の重要なポイントを、複数の記事にわたりご紹介していくことにいたしました！ 今回は、その第一弾と
BigQuery MLを徹底解説！
2025/01/14
ブックマーク
G-gen の佐々木です。当記事では BigQuery 上で機械学習モデルを作成、評価、実行するための機能である BigQuery ML について解説します。 概要 BigQuery とは BigQuery ML とは BigQuery ML の使用方法 ユーザーインターフェース BigQuery Editions クエリのドライラン BigQuery ML でサポートされるモデル 内部モデル 外部モデル インポートされたモデル リモートモデル ユーザーが Vertex AI でデ
EventarcとWorkflowsでイベントドリブンにCloud Run jobsを実行してみた
2025/01/10
ブックマーク
G-gen の出口です。本記事では、Eventarc と Workflows を利用して イベントドリブンに Cloud Run jobs を実行する方法をご紹介します。 概要 Cloud Run functions と Cloud Run jobs 検証の概要 Eventarc Workflows Cloud Storage の準備 Cloud Storage バケットの作成 Cloud Strage サービスエージェントへの権限付与 BigQuery テーブルの作成 Cloud Run jobs の作成 サービスアカウントの作成 Docker コンテナの作成に必
2024年12月のイチオシGoogle Cloudアップデート
2025/01/06
ブックマーク
G-gen の杉村です。2024年12月のイチオシ Google Cloud（旧称 GCP）アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Google フォームで新しい権限「Responder（回答者）」が利用可能に Vertex AI Search で gemini-1.5-flash-002-high-fidelity（Preview） Google Deepmind、大規模世界モデル Genie 2 を発表 Parameter Manager が Preview 公開 画像生成モデ
コネクテッドシートの抽出機能で行数制限を10万行以上にする方法
2024/12/26
ブックマーク
G-gen の堂原です。当記事では、 Google スプレッドシート （Google Sheets）の機能である コネクテッドシート で、 データの抽出 機能を使う際、行数制限が 10万行までしか選べない 場合の対処法を紹介します。 コネクテッドシートとは 概要 データの抽出 事象 解決方法 コネクテッドシートとは 概要 コネクテッドシート （Connected Sheets）は、 Google スプレッドシート の機能で
データベースのテーブル変換をLLMで半自動化する : データエンジニアリング領域におけるLLMの活用
2024/12/26
ブックマーク
今回の記事ではデータエンジニアリングの領域において、チームで取り組んでいるLLM活用のアプローチにつ ...
Pub/Sub の Cloud Storage import Topic について紹介
2024/12/25
ブックマーク
こんにちは、クラウドエース株式会社 第一開発部の阿部です。 本日は 2024 年 11 月 6 日にリリースされた Pub/Sub Cloud Storage import Topic について紹介します。 こちらは Jagu'e'r Advent Calendar 2024 の 10 日目の記事としても書きました。(開いていたためそうしました。) 概要 今回リリースされた機能の前に、Pub/Sub の概要について説明します。 Pub/Sub とは Pub/Sub は、Google Cloud のメッ
Explore Assistantについてまとめてみた～Googleの生成AI技術を利用したデータ分析～
2024/12/25
ブックマーク
本記事は 【Advent Calendar 2024】 25日目の記事です。 🌟🎄 24日目② ▶▶ Merry Christmas!! 🎅🎁 はじめに 想定している読者 Explore Assistant とは 基本機能 環境構成 実際に検証してみてわかったこと 最後に はじめに クラウド事業推進部の小野内です。今年のアドベントカレンダーの最終日を担当させていただきます。 普段は、Google Cloud のデータ分析基盤の開発・運用をメイ
データ推進室 アドベントカレンダー振り返り
2024/12/25
ブックマーク
はじめに こんにちは！Recruit Data Blog 担当の安藤、玉野です。 今年は、データ推進室で初めてアドベントカレンダーを開催しまし