「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全630件中 1 - 15件目
Monthly Tech Report 2024年10月
2024/11/07
ブックマーク
DevRelブロック改めDeveloper Engagementブロックの @ikkou です。ZOZO開発組織の1か月の動向をMonthly Tech Reportとしてお伝えします。 ZOZO TECH BLOG 2024年10月度は11本の記事を公開しました。10月度は 10月15日に正式ローンチを迎えたZOZOMETRY の関連記事を集中的に4本公開しています。11月中にもう1本ZOZOMETRY関連記事を公開する予定です。 techblog.zozo.com techblog.zozo.com techblog.zozo.com techblog.zozo.c
BigQuery Transfer Service を用いたデータ連携 〜 リージョン × 暗号化方式における可否 〜
2024/11/06
ブックマーク
こんにちは、クラウドエース第四開発部に所属している笠原です。 今回は BigQuery (以下、 BQ) のデータ連携について、案件で直面した課題に対し、調査の結果得た示唆を記載したいと思います。 リージョン間をまたぐデータセットの同期を取ろうとした時に、送信元と受信元のデータセットのリージョンと暗号化方式において、BigQuery Data Transfer Service (以下、BQ Transfer) が
FourKeys風の指標で開発生産性が4.5倍になった話
2024/11/06
ブックマーク
こんにちは、FANTECH本部の山下(@takecy)です。 エンジニアリング活動の計測や可視化、難 ...
Google CloudのIAMで最小権限の原則を実現する方法
2024/11/05
ブックマーク
G-gen の杉村です。当記事では、Google Cloud の IAM（Identity and Access Management）で最小権限の原則を実現するための手段をご紹介します。 IAM と最小権限の原則 過剰な権限を予防する IAM の仕組みを正確に理解する IAM 権限を操作できる人を限定する 一時的な特権の管理 すでに付与された権限を整理する IAM Recommender Policy Analyzer Cloud Assets Inventory IAM と最小権限の原則 IAM （Identity a
新BIツール「Superset」を導入した話
2024/11/04
ブックマーク
こんにちは。Data Engineeringチームの河野(@matako1124) です！ 今年のData Engineering業務としてデータマネジメントからデータ活用促進の仕組み化まで幅広く活動してきましたが、その中でも特に事業にインパクトの大きい変革のお話をしていこうと思います。 結論から言うと、Supersetの新規導入とRedashからの乗り換えを試みています。 注意 執筆に当たり細心の注意を払っており
Dataplex の データリネージ機能を BigQuery で試してみた
2024/11/01
ブックマーク
こんにちは、クラウドエース第三開発部の丸山です。 本記事では、Google Cloud で提供されている Dataplex の機能の一部である 「データリネージ」機能をご紹介します。 データリネージとは データリネージ (Data Lineage) とは、システム内のデータの移動を追跡するプロセスのことを指します。 データの送信元、データの送信先、データに適用される変換など、データのライフ
2024年10月のイチオシGoogle Cloudアップデート
2024/11/01
ブックマーク
G-gen の杉村です。2024年10月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Gemini で Dynamic retrieval が GA BigQuery コンソールで Airflow の DAG が管理できるように Google Forms で新しい質問タイプ「Rating」が使えるように BigQuery の SQL で Pipe syntax（パイプ構文）が Preview 公開 Gemini Code Assist に Enterpris
BigQuery + Looker Studioでt検定した話
2024/10/31
ブックマーク
こんにちは！タイミーでデータアナリストをしているkantaと申します。 普段はマーケティングの皆様とCM施策やCRM関連の分析を担当したり、他部署向けの講習会を企画したりしております。11月から半年ほど育休を取得予定のため、育休前最後の仕事（？）として当ブログの執筆を担当いたします。 さて、今回は 「BigQuery + Looker Studioでt検定した話」 と題しまして、その方
タイミーデータサイエンスグループの働く環境について
2024/10/30
ブックマーク
自己紹介 こんにちは。タイミーのデータエンジニアリング部 データサイエンスグループ所属の吉川です。 1年前にタイミーに入社し、データサイエンティストとして日々業務に取り組んでいます。 前職では大手ゲーム会社で全社のCRMや離脱予測のモデル構築を担当していましたが、縁あってタイミーに入社することになりました。 まず入社後のミッションは「データを
Google Workspaceのプラン選びに迷わない！比較ポイントとすべきことを紹介
2024/10/30
ブックマーク
Google Workspace のプランを比較
BigQuery の取り込み時間パーティショニングのテーブルを日本時間でフィルタクエリする方法まとめ
2024/10/29
ブックマーク
こんにちは。 クラウドエース株式会社 第一開発部の髙木です。 私が入社してから半年が経ちました。オンボーディングで様々な Google Cloud のサービスに触り、苦労しながら知識を吸収してきました。 オンボーディング課題をこなしていく中で、仕様に悩まされた機能の 1 つである BigQuery のパーティショニングについて執筆します。 はじめに BigQuery のパーティションは
【イベントレポート】「ZOZO Tech Meetup ～データガバナンス / データマネジメント～」を開催しました！
2024/10/25
ブックマーク
はじめに こんにちは。Developer Engagementブロックの @wiroha です。10月22日に「 ZOZO Tech Meetup ～データガバナンス / データマネジメント～ 」を開催しました。ZOZOTOWNを支える開発において「データガバナンス / データマネジメント」にフォーカスして、弊社エンジニアが具体的な事例を交えながら紹介するイベントです。 登壇内容まとめ 弊社から次の5名が登壇しました。 コン
Spanner emulator で vector search をしてみます
2024/10/22
ブックマーク
Google Cloud の提供する Cloud Spanner (以下 Spanner) はスケーラブルなクラウドの database で、最近では graph database の機能が追加されたりなど、開発も盛んに行われています。 Google Cloud の database 製品では vector search の機能を持つものも多く、Big Query や Cloud SQL などその特性に合わせて選択することができます。Spanner に機能追加されたのもしばらく前だったと記憶していますが、
GA4のBigQuery エクスポート タイプ「ストリーミング」の精度は？「毎日」と「ストリーミング」の比較まとめ
2024/10/22
ブックマーク
本記事は デジマウィーク2024 2日目の記事です。 📊 1日目 ▶▶ 本記事 ▶▶ 3日目 📈 年 1 回以上の投稿を目指しています、高橋栞です。 最近はBigQueryのエクスポートデータと向き合い、さらにGA4の理解を深めようと尽力しています。 今回はデジマweek 2024 の 2 日目ということで、GA4のBigQueryのエクスポートについての記事を執筆します。 これまでもGA4やBigQueryに関連する記
リモート関数と Translation API で翻訳を試す。with 用語集
2024/10/21
ブックマーク
はじめに こんにちは。クラウドエース 第三開発部所属の金です。 前回 Cloud Translation API と Cloud Functions を利用して Cloud Storage にファイルが格納されたら自動検知して翻訳する機能を試してみました。 Cloud Translation APIとCloud Functionsを利用して自動翻訳を試してみた 本記事で紹介する内容は、リモート関数を使用して BigQuery 上簡単に翻訳する機能を試してみます。 リモート