「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全716件中 541 - 555件目
Connected Sheets で始めるデータ分析
2022/06/29
ブックマーク
こんにちは、6月にG-gen にJoinした又吉です。 今回は、 Google Workspace の全エディションにおいて無償で利用可能な Connected Sheets をご紹介します。 はじめに Connected Sheets とは 前提条件 料金 アクセス制御 セットアップ 操作方法 概要 グラフ ピボットテーブル 関数 データの抽出 計算された列 列の統計情報 データの更新 実践 はじめに Connected Sheets とは Connected Sheets （コネク
Luup Developers Blog を開設します！
2022/06/27
ブックマーク
はじめまして、株式会社Luup CTO の岡田(@7omich)です。 先日、ローンチより2周年を迎えた LUUP の技術的取り組み・ノウハウ等について継続的な発信をするべく、Zenn を利用して Developers Blog を開設することにしました。 最初の記事として、まずは本ブログの方向性や技術組織の現状について書きたいと思います。 LUUP について LUUP は、電動キックボードや電動アシスト自転車
GoogleのBIツール、LookerとLooker Studioを比較してみた
2022/06/21
ブックマーク
こんにちは、G-genの開原です。当記事では Google Cloud が提供する Looker と Looker Studio （旧称データポータル）という2つのデータ可視化サービスの特徴についてご紹介した上で、選定のポイントを解説します。 Looker と Looker Studio Looker とは？ Looker Studio とは？ データ分析における課題 Looker の特徴 データのアップロード不要 LookML によるデータの一元管理 豊富な業務連携 Looke
ZOZOTOWNホーム画面におけるパーソナライズの取り組み
2022/06/20
ブックマーク
はじめに こんにちは、ML・データ部推薦基盤ブロックの寺崎（ @f6wbl6 ）と佐藤（ @rayuron ）です。 ZOZOTOWNのホーム画面は2021年3月にリニューアルされ、「モジュール」と呼ばれる単位で商品が表示されるようになりました。 本記事ではユーザーごとにパーソナライズされたモジュール（以降、パーソナライズモジュール）のロジックやシステム構成、および導入時に実施し
pandasでBigQueryのデータを操作する方法 (基本編)
2022/06/20
ブックマーク
G-gen の杉村です。 Python のライブラリである pandas (パンダス) は、データ分析に用いられるツールとして有名です。 当記事では BigQuery から取得したデータを pandas で操作する方法をご紹介します。ごく基本的な内容ですが、コーディング時のメモとして、また Python による BigQuery データを扱う際の練習等にご利用ください。 基本編では簡単なテストデータを使いながら、 S
Cloud Digital Leader試験対策マニュアル（出題傾向・勉強方法）
2022/06/17
ブックマーク
Cloud Digital Leader 試験は Google Cloud（旧称 GCP）の認定資格の中でも最も基礎的な内容を扱う試験です。試験対策や出題傾向について解説します。 基本的な情報 Cloud Digital Leader とは Cloud Digital Leader の難易度 体験記 試験対策方法 1. IT 基礎知識の習得 2. 公式の試験ガイドで試験範囲を把握する 3. Google Cloud の関連書籍を読む 4. 公式の模擬試験を受験で感覚を掴む 5. 模試試験で
troccoでGoogle BigQueryへのETL処理を整備している話①
2022/06/10
ブックマーク
こんにちは。クルーズ株式会社CTOの鈴木です。 先月よりBigQueryへのデータ集約処理を実現する手段として、 クラウド のETLサービスのtroccoの導入を検討していて、現在テストを実施しています。 当社データ基盤の現状課題 データの鮮度問題 データソースは複数ありますが、現状最もデータ転送に時間がかかっているものはサービスの基幹DB（ MariaDB ）です。 現状、深夜に
BigQuery Data Transfer Serviceを使ってAmazon S3のデータをBigQueryに取り込む方法
2022/06/10
ブックマーク
G-gen の大津です。今回は Google Cloud (旧称 GCP) の BigQuery Data Transfer Service を使って、東京リージョンの Amazon S3 にあるデータを BigQuery に取り込む方法をご紹介します。 はじめに BigQuery Data Transfer Service とは 料金 注意点 Storage Transfer Serviceとの違い 設定手順 AWSでの操作 S3バケットの作成 IAMユーザーの作成 Google Cloudでの操作 BigQueryデータセットとテーブルの作成 転送ジョブの
Vertex AI Pipelinesによる機械学習ワークフローの自動化
2022/06/07
ブックマーク
はじめに こんにちは。検索基盤部の倉澤です。 私たちは、ZOZOTOWNの検索機能の改善に取り組んでいます。ZOZOTOWNのおすすめ順検索ではランキング学習を用いた検索機能の改善に取り組んでおり、A/Bテストにて効果を測定しています。 ランキング学習やElasticsearch Learning to Rankプラグインについては過去の記事で紹介していますので、併せてご覧ください。 techblog.zozo.com techbl
Digdagのワークフローを動的に実行できる仕組みの導入
2022/06/02
ブックマーク
はじめに こんにちは、MA基盤の @gachi-muchi-engineer です。 私達のチームでは、Digdagを利用してユーザーにメールを配信したり、データ連携を定期的に行うような様々なワークフローを運用しています。今回その中でも特定の対象者にポイントを付与したり、メールを配信するなどのビジネス要素が強いワークフローを、エンジニアでない運用者が運用していくなかで課題が
オンプレDWHをBigQueryに移行した話
2022/06/01
ブックマーク
はじめに こんにちは。MA部MA施策・運用改善チームの辻岡です。MA部では、ZOZOTOWNのメルマガ・アプリPUSH通知などの配信・分析等の用途で約数十TBのデータを運用しています。今回は長年MAのデータ基盤として利用してきたオンプレDWHをBigQueryに移行したおはなしをします。 この記事はこんな方におすすめ オンプレDWHからBigQuery移行を検討・実施してる方 ジョブ・スケジュ
リアルタイムなプッシュ通知を可能にした配信基盤の紹介
2022/05/30
ブックマーク
※2022-06-07 システムアーキテクチャの画像を修正しました。 はじめに こんにちは、MA部MA基盤ブロックの齋藤（ @kyoppii13 ）です。 ZOZOTOWNではアプリ向けのキャンペーンやセール情報などの配信でプッシュ通知を利用しています。プッシュ通知で配信するキャンペーンはセグメントに向けたマス配信のみで、ユーザごとにパーソナライズして配信するためのパーソナライズ
SQL ServerのChange Tracking機能をプロダクション環境で運用した際に生じた問題と対応策
2022/05/26
ブックマーク
こんにちは、SRE部の廣瀬です。 弊社のシステムには、基幹DBであるSQL ServerからBigQueryへと低遅延でデータを同期する「リアルタイムデータ連携基盤」が存在します。詳しい仕組みについて以下の記事で紹介されているので、よろしければご覧ください。 techblog.zozo.com 上記の記事の中でも紹介されていますが、SQL Server側のテーブルの変更を検知するために「 Change Trakcking 」
BigQuery「承認されたビュー」と「承認されたデータセット」
2022/05/23
ブックマーク
G-gen の杉村です。 Google Cloud (旧称 GCP) の BigQuery にはアクセス制御のための仕組みが多数存在します。その中でも 承認されたビュー と 承認されたデータセット というよく似た名前の2つの機能をご紹介します。 この機能を使うと、利用者に見せるデータの範囲 (カラムやレコード) を制限したり、 BigQuery の IAM 管理運用を楽にしたりすることができます。 BigQuery へのアク
BigQueryで時を遡って過去のテーブルを再構成する
2022/05/17
ブックマーク
はじめに こんにちは、データシステム部データ基盤ブロックSREの纐纈です。 本記事では、過去に遡ってBigQueryのデータを参照する方法（以下、タイムトラベルと呼びます）をご紹介します。また、この機能はBigQueryが提供している、変更または削除されたデータにアクセスする タイムトラベル とは異なることをご了承ください。 開発背景 この機能は過去データを日次ス