※ Timeeのカレンダー | Advent Calendar 2023 - Qiita の12月13日分の記事です。 はじめに こんにちは okodoooooonです dbtユーザーの皆さん。dbtモデルのbuild、どうやって分割して実行してますか？ 何かしらの方針に従って分割をすることなく、毎回全件ビルドをするような運用方針だと使い勝手が悪かったりするんじゃないかなあと思います。 現在進行中のdbtのもろもろの環境をいい感じにするプロジェクトの中で、Jobの分割実行について考える機会があったので、現

こんにちは！ shun です。私はタイミーのデータ統括部でデータ分析やLooker開発を担当しています。今回は、社内のLooker利用者へのユーザーインタビューを実施し、得られた知見についてお話しします。 背景と目的 データ統括部では、各組織がデータを元に意思決定の質やスピードを向上させビジネス インパク トを生むことを目指して、BIツールとしてLooker上のデータ探索環境を開発、提供しています。 Looker開発依頼の相談窓口の設置や利用者向けの講習会の実施、利用者数のモニタリング等をしていますが、L

はじめに こんにちは！ タイミーのデータアナリストのYoです。 今回は、社内で実施した「Looker講習会」を紹介させていただきます。 ご紹介する内容は以下になります。 Looker講習会について なぜLookerか Lookerとは、Google社が提供するBusiness Intelligenceツールです。 弊社では以下の観点から、社内のデータ利活用ツールとしてLookerを採用しています。 SQLを書くことなく、データが確認できる。 閲覧する人によって、利用するデータの定義に相違が生まれない。 一

G-gen の杉村です。Google Cloud のメタデータ管理ツールである Knowledge Catalog （旧称 Dataplex Universal Catalog）を解説します。 概要 Knowledge Catalog とは 過去に存在した Data Catalog 名称の変遷 データカタログとメタデータ データカタログとは メタデータとは ビジネスメタデータとテクニカルメタデータ データ検索機能 検索方法 自然言語検索（セマンティック検索） 検索結果の表示 クエリの構文 メタデータの取り

G-gen の杉村です。2023年10月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Looker Studio と BigQuery のさらなる統合 (Private Preview) Cloud SQL で異エディション間でバックアップ→リストアが可能に Looker Studio Pro がユーザ単位で利用可能に BigQuery のリージョン間テーブルコピーが Private Preview 一部リージョ

はじめに こんにちはokodoonです タイミーのデータ基盤に対してデータモデリングを始めてしばらく経ったので、現状の全体構成を紹介したいと思います 全体構成 弊社のBigQueryは以下の4層にレイヤリングされています それぞれの役割は以下のような切り分けになっています レイヤー名 役割 データレイク層 複数ソースシステムのデータを未加工の状態でBigQueryにロードする宛先 dbt snapshotによるソースの履歴化 ステージング層 複数ソースシステムのデータを共通した処理でクレンジングする層 D

こんにちは、MA部MA開発1ブロックの齋藤（ @kyoppii13 ）です。 8/29-8/31に開催された Google Cloud Next '23 へ参加してきました。今年は4年ぶりとなるオフライン開催で、アメリカ・サンフランシスコで開催されました。弊社からはMA部の齋藤・松岡・中原の3名が参加しました。 今年は生成AIにフォーカスした内容がとても多く、それに関連する新サービスの発表も多くありました。本記事では、現地での様子と特に興味深かったセッションをピックアップして紹介します。 現地での様子 3

こんにちは、タイミーのデータ統括部データサイエンス（以下DS）グループ所属の菊地です。 今回は、タイミーがBIツールとして導入しているLookerでの、 H3 を使用した可視化をするための取り組みを紹介したいと思います！ H3とは H3 とは、Uber社が開発しているグリッドシステムで、オープンソースとして提供されています。 H3 では、位置情報に紐づいたイベントを階層的な六角形の領域にバケット化することができ、バケット化された単位でデータの集計が可能になります。 タイミーでは、サービスを提供する各都市の

はじめに クラシルリワードについて データ基盤の全体構成 BigQueryの選定理由 データ基盤における重要な役割 アプリのイベントログのscan量削減 DynamoDBやRDSをBigQueryにSync Snowflakeの活用 BIツール(Redash, Looker) Redash Redash repositoryのフォルダ・ファイル構成 git管理下のSQLクエリをRedashに反映 Lookerについて さいごに はじめに こんにちは！クラシルリワードで開発責任者をしているfunzinです。

こんにちは！クラウドエースの小坂と申します。✨ データウェアハウス構築に関して、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーを積極的に担当しております。 さて、タイトルにもある通り、Looker のリリースノートが Google Cloud のリリースノートシステムに統合されたことをお知らせいたします！🎉 これまで Looker のリリースノートは他の Google Cloud サービスとは異なる形式で、以下のような形で提供されていました。 各バージョンのリリース

クラウドエースの穂戸田と申します。 本記事では、パラメータの値に対応する動的ディメンションを作成し、 利用方法として動的な集計範囲の変更を一例としてまとめてみました。 「Lookerを最近使い始めたよ〜」くらいの人にちょうどいい内容だと思います。 やりたいこと 選択された集計範囲に応じてグラフの軸が動的に変更されるようにしたい 今回は例として、12ヶ月/5週間のパラメータを設置し、 12ヶ月が選択された場合は1ヶ月単位12ヶ月分のデータを取得、 5週間が選択された場合は1週間単位で5週間分のデータを取得で

はじめに こんにちは。ML・データ部/推薦基盤ブロックの佐藤（ @rayuron ）です。私たちは、ZOZOTOWNのパーソナライズを実現する機械学習を用いた推薦システムを開発・運用しています。また、推薦システムの実績を定常的に確認するためのシステムも開発しています。本記事では、Lookerを用いて推薦システムの実績をモニタリングするシステムの改善に取り組んだ件についてご紹介します。 はじめに 改善の背景と課題 背景 課題 課題解決のために 要件1. 指標異常時の自動アラート 要件2. サマリの定期配信

本記事では、データポータル（英名 Data Studio、旧称 Looker Studio）で BigQuery データソースを使う際のコスト最適化について説明します。 はじめに データポータルとは 料金体系 料金削減の基本方針 レポートごとの BigQuery コストを調べる レポート側の基本方針 BigQuery 側の方針 データポータルのキャッシュ機能 レポートのキャッシュ 抽出されたデータソース BigQuery のキャッシュ機能 クエリ結果のキャッシュ マテリアライズドビュー BI Engine

本記事では Google Cloud (旧称 GCP) の BigQuery のコスト削減の方法をまとめます。 はじめに 当記事について BigQuery の料金体系 どこに料金がかかっているか調べる 調査ポイント 調査方法 Looker Studio レポートから BigQuery へのクエリ テクニック SELECT * を使わず必要なカラムのみクエリする パーティションやクラスタリングを使う 不要なバックアップテーブルを削除 ストリーミングインサートを使わない BI ダッシュボードからビューを呼び出

この記事は Enigmo Advent Calendar 2022 の23日目の記事です。 こんにちは、 エニグモ 嘉松です。 データ活用推進室というチームでリーダーをさせていただいています。 チームにはデータアナリスト３名、社内の業務システムを開発するGASエンジニア１名、そして私の計５名が所属しています。 目次 目次 エニグモを取り巻くIT環境 AppSheetとは AppSheetによるアプリの開発 AppSheet開発のフロー 1. データを用意 2. データを取り込み 3. アプリを作成 4.