「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全737件中 1 - 15件目
入社から3か月のデータアナリストの業務紹介
2025/03/27
ブックマーク
こんにちは、Data Groupのデータアナリストをしている加藤です。 2024年10月1日よりLuupで働き始め、早くも3か月以上が経過しました。（諸事情により公開が遅れました） 今回はLuupを転職先に選んだ理由と、データアナリストとしての日々の業務についてお話しします。 前職について 新卒で金融機関に入社し、2年半にわたり自治体向けのキャッシュレス決済プロジェクトの
ZOZOTOWNの推薦システムにおけるA/Bテストの標準化
2025/03/26
ブックマーク
はじめに こんにちは。データシステム部推薦基盤ブロックの佐藤（ @rayuron ）と住安（ @kosuke_sumiyasu ）です。私たちはZOZOTOWNのパーソナライズを実現する推薦システムを開発・運用しています。 ZOZOTOWNでは、様々な改善施策の効果を検証するためにA/Bテストを実施していますが、そのプロセスには多くの工程があり、効率化の余地がありました。本記事では、A/Bテストの工
サーバレスをフル活用したビジネスｄアプリのアーキテクチャ（後編）
2025/03/26
ブックマーク
はじめに この記事はコミュニケーション&アプリケーションサービス部でビジネスdアプリを開発している丸山、葛岡、露口、西谷、富田の共同執筆です。 今回は、NTTコミュニケーションズで提供するモバイルアプリ、「ビジネスdアプリ」の具体的なアーキテクチャやCI/CDの仕組みに焦点を当てて説明します。 前編では、開発背景やサーバレスサービスを活用したアー
BigQueryでSpanner外部データセットを使用する
2025/03/25
ブックマーク
G-gen の佐々木です。当記事では、BigQuery の 外部データセット として Spanner データベース内のテーブルを参照する方法を解説します。 前提知識 BigQuery Spanner BigQuery と Spanner の連携 2つの連携方法 連携クエリとは 外部データセットとは 連携クエリと外部データセットの比較 制限事項 BigQuery から Spanner へのリバース ETL 手順 Spanner の準備 インスタンス、データベースの作成
Google Agentspaceを徹底解説！
2025/03/24
ブックマーク
G-gen の杉村です。当記事では、Google（Google Cloud）が提供する生成 AI サービスである Google Agentspace を解説します。 概要 Google Agentspace とは Early Access（早期アクセス） 多様なデータソース 主要機能 アシスタント アシスタントアクション（エージェント機能） Deep Research NotebookLM Enterprise ライセンス 利用可能なデータソース ファーストパーティ サードパーティ 認証情報 概
BigQueryの外部テーブルでスプレッドシートのデータをクエリする
2025/03/19
ブックマーク
G-gen の杉村です。BigQuery の 外部テーブル （external tables）機能で Google スプレッドシートのデータを BigQuery からクエリする方法について紹介します。 外部テーブルとは スプレッドシート サンプルシートの準備 共有リンクの取得 外部テーブルの定義 SQL（DDL） 解説 シート指定の注意点 クエリ アクセス権限 Google アカウントによるアクセス プログラムからのアクセス 外部
キャディでの Apache Iceberg 活用事例
2025/03/18
ブックマーク
こんにちは。Drawer Growth グループの江良です。 キャディが「製造業 AI データプラットフォーム」の構想を打ち出してから半年ほどが経ちました。 caddi.com このコンセプトの実現にあたっては、「AI」の部分だけでなく、「データ」の部分を支える仕組みづくりも重要になってきます。今回は、私が携わっているプロジェクトで導入した Apache Iceberg とその使いどころについ
メルペイインターンで通知をいい感じにした話
2025/03/14
ブックマーク
はじめに こんにちは！北陸先端科学技術大学院大学修士1年の@midorinです。 メルペイのBalanceチームにて1月から3月にかけての2ヶ月間、バックエンドのインターンに参加しました。 今回は、インターンで主に取り組んだ通知の改善とメルペイで学んだことを本ブログに記載します。 メルペイ Balanceチームについて メルペイはメルカリの売上金や銀行口座のお金が使える決済
Document AI と BigQuery を活用して請求書データを効率的に構造化してみた
2025/03/14
ブックマーク
初めに こんにちは、クラウドエース 第三開発部の王です。 デジタル化が進む現代、企業や組織では注文書、納品書、請求書などのビジネス文書（PDF、Word、Excel など。以降、ドキュメントデータと呼びます）が日々大量に生成されています。これらのデータには貴重な価値が含まれており、適切に分析することで有益なインサイトを得ることができます。しかし、データ
【Google Cloud】BigQueryにCSVデータを取り込むときに遭遇したエラーと解消方法
2025/03/14
ブックマーク
こんにちは。SCSKの山口です。 今回は、BigQueryのテーブルにCSVデータを取り込む際、何度も遭遇したエラーたちと、その解消方法をご紹介します。 データを取り込む方法としては、下記「bq load」コマンドでGCS→BQに取り込むことにします。 実行コマンド bq load –skip_leading_rows=1 [データセット].[テーブル] gs://[バケット/フォルダ]/[ファイル名] コマンドのオプション
【Google Cloud】Associate Data Practitioner 受験前レポート
2025/03/10
ブックマーク
こんにちは。SCSKの山口です。 今回は、Google Cloud認定資格の受験レポート その①です。 はじめに 先日、Google CloudのAssociateレベルの認定資格として、下記二つの認定資格が追加されました。 ・ Associate Data Practitioner ・ Associate Google Workspace Administrator 全冠維持継続中の私にとっては見逃せないニュースでしたが、 Associate Google Workspace Administrator に関しては、前身となるProfessio
バンダイナムコネクサス 2024年TechBlogまとめ
2025/03/06
ブックマーク
はじめに 2024年、バンダイナムコネクサスはエンタープライズ規模のデータ基盤開発から、AIを活用した新たな開発手法まで、私たちの取り組みをTechBlogを通じて発信してきました。 この記事では、これまでリリースした主要な記事を振り返り、当社の技術的な取り組みを紹介します。 データ基盤開発プロジェクト 広告出稿のKPI最大化のためのデータ基盤開発 ～第1章 プ
Looker StudioでBigQueryの200万行を超えるデータを可視化しようとしたら困った話
2025/03/06
ブックマーク
G-gen の min です。先日、Looker Studio を使い、Google Cloud（旧称 GCP）の BigQuery のデータ可視化を試みた際に困ったことがありました。今回は、発生した問題と解決方法を記載します。同じ課題に直面した方の参考になれば幸いです。 やりたかったこと 発生した問題 原因調査 検証 解決方法 やりたかったこと Looker Studio では、複数のデータを結合して1つのデータセットとして
【外部へ脱出？】BigQuery リモート関数を使用して Slack に通知してみた
2025/03/04
ブックマーク
はじめに クラウドエース第三開発部の角谷（かどたに）です。 BigQuery リモート関数を使用したクエリを実行し、 Slack とメールアドレス（Gmail）に通知する仕組みを作ってみましたのでその方法を紹介します。 システム アーキテクチャ 使い方 BigQuery のクエリエディタで、送りたいメッセージを引数にリモート関数 send_message を実行します。 SELECT `{プロジェクト ID}.my_datase
2025年2月のイチオシGoogle Cloudアップデート
2025/03/03
ブックマーク
G-gen の杉村です。2025年2月のイチオシ Google Cloud（旧称 GCP）アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに 生成 AI アプリ保護のフルマネージドサービス Model Armor が公開 Google スプレッドシートの性能が改善 OneDrive から Google ドライブへのデータ移行ツールが一般公開 Gemini 2.0 Flash が GA。2.0 Flash Lite や 2.0 Pro も