G-gen の杉村です。2023年10月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Looker Studio と BigQuery のさらなる統合 (Private Preview) Cloud SQL で異エディション間でバックアップ→リストアが可能に Looker Studio Pro がユーザ単位で利用可能に BigQuery のリージョン間テーブルコピーが Private Preview 一部リージョ

はじめに こんにちはokodoonです タイミーのデータ基盤に対してデータモデリングを始めてしばらく経ったので、現状の全体構成を紹介したいと思います 全体構成 弊社のBigQueryは以下の4層にレイヤリングされています それぞれの役割は以下のような切り分けになっています レイヤー名 役割 データレイク層 複数ソースシステムのデータを未加工の状態でBigQueryにロードする宛先 dbt snapshotによるソースの履歴化 ステージング層 複数ソースシステムのデータを共通した処理でクレンジングする層 D

こんにちは、MA部MA開発1ブロックの齋藤（ @kyoppii13 ）です。 8/29-8/31に開催された Google Cloud Next '23 へ参加してきました。今年は4年ぶりとなるオフライン開催で、アメリカ・サンフランシスコで開催されました。弊社からはMA部の齋藤・松岡・中原の3名が参加しました。 今年は生成AIにフォーカスした内容がとても多く、それに関連する新サービスの発表も多くありました。本記事では、現地での様子と特に興味深かったセッションをピックアップして紹介します。 現地での様子 3

こんにちは、タイミーのデータ統括部データサイエンス（以下DS）グループ所属の菊地です。 今回は、タイミーがBIツールとして導入しているLookerでの、 H3 を使用した可視化をするための取り組みを紹介したいと思います！ H3とは H3 とは、Uber社が開発しているグリッドシステムで、オープンソースとして提供されています。 H3 では、位置情報に紐づいたイベントを階層的な六角形の領域にバケット化することができ、バケット化された単位でデータの集計が可能になります。 タイミーでは、サービスを提供する各都市の

はじめに クラシルリワードについて データ基盤の全体構成 BigQueryの選定理由 データ基盤における重要な役割 アプリのイベントログのscan量削減 DynamoDBやRDSをBigQueryにSync Snowflakeの活用 BIツール(Redash, Looker) Redash Redash repositoryのフォルダ・ファイル構成 git管理下のSQLクエリをRedashに反映 Lookerについて さいごに はじめに こんにちは！クラシルリワードで開発責任者をしているfunzinです。

こんにちは！クラウドエースの小坂と申します。✨ データウェアハウス構築に関して、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーを積極的に担当しております。 さて、タイトルにもある通り、Looker のリリースノートが Google Cloud のリリースノートシステムに統合されたことをお知らせいたします！🎉 これまで Looker のリリースノートは他の Google Cloud サービスとは異なる形式で、以下のような形で提供されていました。 各バージョンのリリース

クラウドエースの穂戸田と申します。 本記事では、パラメータの値に対応する動的ディメンションを作成し、 利用方法として動的な集計範囲の変更を一例としてまとめてみました。 「Lookerを最近使い始めたよ〜」くらいの人にちょうどいい内容だと思います。 やりたいこと 選択された集計範囲に応じてグラフの軸が動的に変更されるようにしたい 今回は例として、12ヶ月/5週間のパラメータを設置し、 12ヶ月が選択された場合は1ヶ月単位12ヶ月分のデータを取得、 5週間が選択された場合は1週間単位で5週間分のデータを取得で

はじめに こんにちは。ML・データ部/推薦基盤ブロックの佐藤（ @rayuron ）です。私たちは、ZOZOTOWNのパーソナライズを実現する機械学習を用いた推薦システムを開発・運用しています。また、推薦システムの実績を定常的に確認するためのシステムも開発しています。本記事では、Lookerを用いて推薦システムの実績をモニタリングするシステムの改善に取り組んだ件についてご紹介します。 はじめに 改善の背景と課題 背景 課題 課題解決のために 要件1. 指標異常時の自動アラート 要件2. サマリの定期配信

G-gen の神谷です。本記事では、Looker Studio で BigQuery データソースを使う際のコスト最適化について説明します。 はじめに Looker Studio とは 料金体系 料金削減の基本方針 レポートごとの BigQuery コストを調べる Looker Studio レポート側の基本方針 BigQuery 側の方針 Looker Studio のキャッシュ機能 レポートのキャッシュ 抽出されたデータソース BigQuery のキャッシュ機能 クエリ結果のキャッシュ マテリアライズ

G-gen の神谷です。本記事では Google Cloud (旧称 GCP) の BigQuery のコスト削減の方法をまとめます。 はじめに コスト削減の手法 BigQuery の料金体系 どこに料金がかかっているか調べる 調査ポイント 調査方法 テクニック SELECT * を使わず必要なカラムのみクエリする パーティションやクラスタリングを使う 不要なバックアップテーブルを削除 ストリーミングインサートを使わない BI ダッシュボードからビューを呼び出さない BigQuery BI Engine

この記事は Enigmo Advent Calendar 2022 の23日目の記事です。 こんにちは、 エニグモ 嘉松です。 データ活用推進室というチームでリーダーをさせていただいています。 チームにはデータアナリスト３名、社内の業務システムを開発するGASエンジニア１名、そして私の計５名が所属しています。 目次 目次 エニグモを取り巻くIT環境 AppSheetとは AppSheetによるアプリの開発 AppSheet開発のフロー 1. データを用意 2. データを取り込み 3. アプリを作成 4.

こんにちは。データエンジニアの谷元です。 この記事は Enigmo Advent Calendar 2022 の21日目の記事です。 目次 はじめに どうしてデータ基盤を最適化する必要があるの？ どうしたら改善できるの？ 現状のデータ基盤のおさらい 主要なBUYMA基幹データの最新ビューに着目してみる 最新ビューをどう変更するの？ システム概要としてはどんな感じ？ この方針で思ったこと BQ履歴テーブルの作成方針だけど 本当にその方法で改善するの？ 運用保守する上で気になっていたこと 見込み効果はどうなの

この記事は BASE Advent Calendar 2022 の19日目の記事です。 はじめに こんにちは、DataStrategyチームの竹内です。 今回はBASEで作成されたショップが扱っている商品のカテゴリを機械学習モデルを使って推論するための取り組みについてご紹介いたします。 はじめに TL;DR 商品カテゴリ データセットの作成 ラベルセットの検討 データのサンプリング AWS Ground Truthを利用したアノテーション アノテーション対象のフィルタリング モデルの学習とテスト BERT

こんにちは、UIUXデザイナーの和田です。 この記事は Enigmo Advent Calendar 2022 の18日目の記事です！ 弊社では、 BUYMA のサービスやアプリ・WebサイトのUIUXをよりよくしていくことを目的に、 「より深くユーザーを理解して」「ユーザーにとって価値のある体験」を届けていくために、UXリサーチに基づいた改善に力を入れています。 今回は、 BUYMA の顧客理解のために進めているUXリサーチの取り組みについてご紹介します。 【1】ユーザーセグメント分類｜User Seg

はじめに BIツールで使い易いテーブルについて 設計ドキュメントからBIツールのモデルファイルを自動生成する LookMLのラベル機能 caseによるラベリング LookMLの継承機能 Viewファイル自動生成ツールの実装 ビルドスクリプト main関数の実装 Excelのパーズ処理 Viewファイルの書き出し処理 まとめ はじめに このエントリは、 Looker Advent Calendar 2022 における17日目の記事です。 本日は、基幹システムのような歴史的な蓄積がある既存のデータを後付けで可