「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 496 - 510件目
Looker Extension Frameworkでアプリケーションを作成してみた
2022/07/11
ブックマーク
こんにちは。ISID CIT事業部の熊倉です。 昨年7月、 Google が提供しているBIツール「Looker」でExtension Frameworkという新しい機能が追加されました。 今回の記事ではExtension Frameworkの開発方法について検証する目的で作成したアプリケーションについて紹介していきます。 本記事がExtension Frameworkの開発イメージやメリットについての理解の手助けになれば幸いです。 1. Lookerとは
GCPで意図せぬ課金を防ぐためのtips
2022/07/08
ブックマーク
はじめに こんにちは。人材領域でレコメンドシステムの機能開発をしている羽鳥です。 突然ですがクイズです。500GBのGoog
機械学習初心者がVertex AIでモデルを構築してみた（AutoML）
2022/07/07
ブックマーク
G-gen の佐々木です。今回は Google Cloud (旧称 GCP) の機械学習サービスである Vertex AI で、表形式データを用いた予測モデルの作成を試してみました。 私は機械学習についてはまだまだ勉強を始めたばかりなのですが、 Google の助けを借りて、高精度なモデル作りに挑戦してみようと思います。 Vertex AIとは AutoML モデル構築に使用するデータ 前処理 モデルのトレーニング 予測
Cloud Workflowsで簡易的なデータパイプラインを構築してみる
2022/07/04
ブックマーク
G-gen の杉村です。 Google Cloud (旧称 GCP) には Cloud Workflows という簡易的なワークフローツールがあります。今回の記事は Cloud Workflows を使った簡易的なデータパイプラインの構築方法をご紹介します。 はじめに Cloud Workflows とは 関連記事 この記事で作るもの 概要 SQL 実行方法 1 - BigQuery API Connector SQL 実行方法 2 - Scheduled Query Scheduled Query の呼び出し方 ワークフローの作成 フロ
Connected Sheets で始めるデータ分析
2022/06/29
ブックマーク
こんにちは、6月にG-gen にJoinした又吉です。 今回は、 Google Workspace の全エディションにおいて無償で利用可能な Connected Sheets をご紹介します。 はじめに Connected Sheets とは 前提条件 料金 アクセス制御 セットアップ 操作方法 概要 グラフ ピボットテーブル 関数 データの抽出 計算された列 列の統計情報 データの更新 実践 はじめに Connected Sheets とは Connected Sheets （コネク
Luup Developers Blog を開設します！
2022/06/27
ブックマーク
はじめまして、株式会社Luup CTO の岡田(@7omich)です。 先日、ローンチより2周年を迎えた LUUP の技術的取り組み・ノウハウ等について継続的な発信をするべく、Zenn を利用して Developers Blog を開設することにしました。 最初の記事として、まずは本ブログの方向性や技術組織の現状について書きたいと思います。 LUUP について LUUP は、電動キックボードや電動アシスト自転車
GoogleのBIツール、LookerとLooker Studioを比較してみた
2022/06/21
ブックマーク
こんにちは、G-genの開原です。当記事では Google Cloud が提供する Looker と Looker Studio （旧称データポータル）という2つのデータ可視化サービスの特徴についてご紹介した上で、選定のポイントを解説します。 Looker と Looker Studio Looker とは？ Looker Studio とは？ データ分析における課題 Looker の特徴 データのアップロード不要 LookML によるデータの一元管理 豊富な業務連携 Looke
ZOZOTOWNホーム画面におけるパーソナライズの取り組み
2022/06/20
ブックマーク
はじめに こんにちは、ML・データ部推薦基盤ブロックの寺崎（ @f6wbl6 ）と佐藤（ @rayuron ）です。 ZOZOTOWNのホーム画面は2021年3月にリニューアルされ、「モジュール」と呼ばれる単位で商品が表示されるようになりました。 本記事ではユーザーごとにパーソナライズされたモジュール（以降、パーソナライズモジュール）のロジックやシステム構成、および導入時に実施し
pandasでBigQueryのデータを操作する方法 (基本編)
2022/06/20
ブックマーク
G-gen の杉村です。 Python のライブラリである pandas (パンダス) は、データ分析に用いられるツールとして有名です。 当記事では BigQuery から取得したデータを pandas で操作する方法をご紹介します。ごく基本的な内容ですが、コーディング時のメモとして、また Python による BigQuery データを扱う際の練習等にご利用ください。 基本編では簡単なテストデータを使いながら、 S
Cloud Digital Leader試験対策マニュアル（出題傾向・勉強方法）
2022/06/17
ブックマーク
Cloud Digital Leader 試験は Google Cloud（旧称 GCP）の認定資格の中でも最も基礎的な内容を扱う試験です。試験対策や出題傾向について解説します。 基本的な情報 Cloud Digital Leader とは Cloud Digital Leader の難易度 体験記 試験対策方法 1. IT 基礎知識の習得 2. 公式の試験ガイドで試験範囲を把握する 3. Google Cloud の関連書籍を読む 4. 公式の模擬試験を受験で感覚を掴む 5. 模試試験で
troccoでGoogle BigQueryへのETL処理を整備している話①
2022/06/10
ブックマーク
こんにちは。クルーズ株式会社CTOの鈴木です。 先月よりBigQueryへのデータ集約処理を実現する手段として、 クラウド のETLサービスのtroccoの導入を検討していて、現在テストを実施しています。 当社データ基盤の現状課題 データの鮮度問題 データソースは複数ありますが、現状最もデータ転送に時間がかかっているものはサービスの基幹DB（ MariaDB ）です。 現状、深夜に
BigQuery Data Transfer Serviceを使ってAmazon S3のデータをBigQueryに取り込む方法
2022/06/10
ブックマーク
G-gen の大津です。今回は Google Cloud (旧称 GCP) の BigQuery Data Transfer Service を使って、東京リージョンの Amazon S3 にあるデータを BigQuery に取り込む方法をご紹介します。 はじめに BigQuery Data Transfer Service とは 料金 注意点 Storage Transfer Serviceとの違い 設定手順 AWSでの操作 S3バケットの作成 IAMユーザーの作成 Google Cloudでの操作 BigQueryデータセットとテーブルの作成 転送ジョブの
Vertex AI Pipelinesによる機械学習ワークフローの自動化
2022/06/07
ブックマーク
はじめに こんにちは。検索基盤部の倉澤です。 私たちは、ZOZOTOWNの検索機能の改善に取り組んでいます。ZOZOTOWNのおすすめ順検索ではランキング学習を用いた検索機能の改善に取り組んでおり、A/Bテストにて効果を測定しています。 ランキング学習やElasticsearch Learning to Rankプラグインについては過去の記事で紹介していますので、併せてご覧ください。 techblog.zozo.com techbl
Digdagのワークフローを動的に実行できる仕組みの導入
2022/06/02
ブックマーク
はじめに こんにちは、MA基盤の @gachi-muchi-engineer です。 私達のチームでは、Digdagを利用してユーザーにメールを配信したり、データ連携を定期的に行うような様々なワークフローを運用しています。今回その中でも特定の対象者にポイントを付与したり、メールを配信するなどのビジネス要素が強いワークフローを、エンジニアでない運用者が運用していくなかで課題が
オンプレDWHをBigQueryに移行した話
2022/06/01
ブックマーク
はじめに こんにちは。MA部MA施策・運用改善チームの辻岡です。MA部では、ZOZOTOWNのメルマガ・アプリPUSH通知などの配信・分析等の用途で約数十TBのデータを運用しています。今回は長年MAのデータ基盤として利用してきたオンプレDWHをBigQueryに移行したおはなしをします。 この記事はこんな方におすすめ オンプレDWHからBigQuery移行を検討・実施してる方 ジョブ・スケジュ