「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全387件中 16 - 30件目
Vertex AI Agent Builderを使ってみた
2024/04/11
ブックマーク
G-gen 又吉です。本記事は Google Cloud Next '24 in Las Vegas の1日目のキーノートで発表された Vertex AI Agent Builder を触ってみたのでご紹介します。 他の Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリ の記事一覧からご覧いただけます。 概要 Agent とは Vertex AI Agent Builder とは 料金 概要 試算例 Vertex AI agents 概要 Agents の構成要素 Goal Instructions Examples Tools 概要 Built-in tools OpenA
自然言語でデータ分析ができるGemini in BigQuery(データキャンバス)を試してみた
2024/04/11
ブックマーク
はじめまして！4月に G-gen に入社した奥田梨紗です。この度 Google Cloud Next '24 in Las Vegas で発表された Gemini in BigQuery を試してみたので手順等をご紹介します。 はじめに Gemini in BigQuery とは 試したこと Google Cloud 側へ利用申請を行う BigQuery キャンバスを作成 Gemini in BigQuery を用いて SQL やグラフを作成 例1: 特定の数値でデータを分類する 例2: 分類分け 例3:グラフを作成 関連
【現地速報】Google Cloud Next ’24 Las Vegas Keynoteまとめ。
2024/04/10
ブックマーク
こんにちは。SCSKの島村です。 Google Cloud の旗艦イベントである 『Google Cloud Next ’24』 が Mandalay Bay, Las Vegas にて開幕しました。 現地時間４月9日（月）-11日（木） の3日間にわたり基調講演や、先進事例セッション、テーマ別のブレイクアウトセッションなどなど、 最新の技術革新、Genarative AIからセキュリティまで, Google Cloud のあらゆることに関するセッション がご用
2024年3月のイチオシGoogle Cloudアップデート
2024/04/01
ブックマーク
G-gen の杉村です。2024年3月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに 放置プロジェクトに対する推奨事項が表示 AlloyDB AI が Preview => GA BigQuery で Amazon S3 に対するマテビュー等が Preview => GA IAM 事前定義ロール一覧ドキュメントの読み込みが高速化 Cloud Run の service レベルで最小イン
薬急便における通知機能のマイクロサービス移行
2024/03/28
ブックマーク
はじめに こんにちは！株式会社MG-DXで「薬急便（やっきゅうびん）」のバックエンド開発をしている藤 ...
分析基盤へのデータ連携処理をEmbulkからAmazon Aurora S3 Export機能に切り替えた話
2024/03/27
ブックマーク
はじめに こんにちは！Data Platformチームでデータエンジニアとして働いている @shota.imazeki です。 分析基盤の構築・運用などの側面から社内のデータ活用の促進を行っています。 BASEではAurora MySQLにあるデータをEmbulkを用いてBigQueryに連携しています。BigQueryへ連携されたデータは分析基盤としてLookerなどを通して社内利用されています。 このデータ連携処理にはいくつかの
ログ調査基盤を構築してみた
2024/03/26
ブックマーク
こんにちは。 株式会社ココナラのインフラ・SREチーム所属の かず です。 システム運用において、有事の際に迅速かつ適切なシステム稼働状況の確認は欠かせません。 その手段の1つとして、ログの調査や分析の効率化は切っても切れない関係です。 システムが成長するにあわせ、ログの種類や量が多くなり、結果としてログの調査や分析が難しくなるのはよくある話か
ZOZOTOWNのマス配信バッチのリプレイス
2024/03/21
ブックマーク
はじめに こんにちは、MA部の中原です。 MA部ではメルマガやLINE、アプリプッシュ通知を配信するためのマーケティングオートメーションシステムを開発・運用しています。 2022年からこのマーケティングオートメーションシステムをリプレイスするためのプロジェクトをMA部で進めています。リプレイス後の新しいマーケティングプラットフォームを「ZOZO Marketing Platform（
ZOZOTOWNにおけるマーケティングメール配信基盤の構築
2024/03/19
ブックマーク
はじめに こんにちは、MA部の松岡（ @pine0619 ）です。MA部ではマーケティングオートメーションシステムの開発・運用に従事しています。 ZOZOTOWNでは、マーケティングオートメーションシステム（以下、MAシステム）を使い、メールやLINE、アプリプッシュ通知といったチャネルへのキャンペーンを配信しています。 MA部では、複数のMAシステムが存在しており、MAシステムそ
会計システムのアーキテクチャとモデリング ~会計というドメインを Rust で表現している話~
2024/03/19
ブックマーク
はじめに こんにちは。 バックエンドエンジニアの松本です。今回は、会計システムの開発を通じて、 CADDi におけるプロダクト開発の様子を紹介します。 2024年3月現在、CADDiでは2つのサービスを提供しています。1つは図面データ活用クラウド「CADDi Drawer」で、もう1つは加工品製造サービス「CADDi Manufacturing」です。 今回、後者の加工品製造サービス「CADDi Manufacturing」向け
dbt exposureによるデータ基盤アウトプットの登録を自動化しました
2024/03/18
ブックマーク
はじめに 課題感・背景 使用しているBIツールについて BIツールの使用ボリューム感について やったこと：概要 やったこと：詳細 referenced tableにテーブル名ではなくdbtモデル名が入るようにしたことについて 各種アウトプットの公開設定をmeta情報として付与する方針としたことについて tagを追加してexposureの検索性を向上させたこと exposureのnameにシートとダッシュボード
新しいカイポケのデータプラットフォームをどのように考えて構築しているのか：目的・制約条件・システム構成
2024/03/14
ブックマーク
カイポケ・データプラットフォームチームの河本と申します。以前にSMS Tech blog では 「なぜ介護事業者向け経営支援 SaaS「カイポケ」でデータプラットフォームをこれから作るのか」 では介護を取り巻く社会環境の観点からデータプラットフォームに求められる要件について、 「「マーケットに向き合う」エンジニアと経営陣がいたからこそ爆誕したデータプラットフォ
VPC Service Controlsのドライランモードについて解説
2024/03/06
ブックマーク
G-gen の武井です。当記事では VPC Service Controls のドライランモードについて解説します。 はじめに VPC Service Controls とは ドライランモード ドライランモードの仕組み ドライランモード 概要 構成 設定項目 Access Context Manager 設定 権限 アクセスレベル 境界 (ドライランモード) 実例解説 評価の流れ 実例1 ログ確認 原因の特定 詳細確認 考察と対応 実例2 ログ確認 原因の特定
dbt導入によるデータマート整備
2024/03/05
ブックマーク
はじめに こんにちは、ML・データ部推薦基盤ブロックの栁澤（ @i_125 ）です。私はZOZOのデータ基盤におけるデータガバナンス強化を実現するために、Analytics Engineerとして複数の部門を跨ぐプロジェクトチームに参加しています。本記事ではZOZOにおけるデータガバナンス上の課題と、その課題の解決策の1つとしてdbtを導入した話をご紹介します。 目次 はじめに 目次 背景
BigQuery Data Transfer Serviceのデータセットコピーを解説
2024/03/05
ブックマーク
G-gen の杉村です。当記事では、 BigQuery Data Transfer Service で提供される、 データセットコピー 機能を解説します。 BigQuery Data Transfer Service とは データセットコピー機能とは ユースケース 認証・認可 データ転送の挙動 注意点 ストレージ料金 複製の対象外のリソース BigQuery Data Transfer Service とは BigQuery Data Transfer Service は、外部から BigQuery へのデータ転送を自動化する Google