「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 511 - 525件目
リアルタイムなプッシュ通知を可能にした配信基盤の紹介
2022/05/30
ブックマーク
※2022-06-07 システムアーキテクチャの画像を修正しました。 はじめに こんにちは、MA部MA基盤ブロックの齋藤（ @kyoppii13 ）です。 ZOZOTOWNではアプリ向けのキャンペーンやセール情報などの配信でプッシュ通知を利用しています。プッシュ通知で配信するキャンペーンはセグメントに向けたマス配信のみで、ユーザごとにパーソナライズして配信するためのパーソナライズ
SQL ServerのChange Tracking機能をプロダクション環境で運用した際に生じた問題と対応策
2022/05/26
ブックマーク
こんにちは、SRE部の廣瀬です。 弊社のシステムには、基幹DBであるSQL ServerからBigQueryへと低遅延でデータを同期する「リアルタイムデータ連携基盤」が存在します。詳しい仕組みについて以下の記事で紹介されているので、よろしければご覧ください。 techblog.zozo.com 上記の記事の中でも紹介されていますが、SQL Server側のテーブルの変更を検知するために「 Change Trakcking 」
BigQuery「承認されたビュー」と「承認されたデータセット」
2022/05/23
ブックマーク
G-gen の杉村です。 Google Cloud (旧称 GCP) の BigQuery にはアクセス制御のための仕組みが多数存在します。その中でも 承認されたビュー と 承認されたデータセット というよく似た名前の2つの機能をご紹介します。 この機能を使うと、利用者に見せるデータの範囲 (カラムやレコード) を制限したり、 BigQuery の IAM 管理運用を楽にしたりすることができます。 BigQuery へのアク
BigQueryで時を遡って過去のテーブルを再構成する
2022/05/17
ブックマーク
はじめに こんにちは、データシステム部データ基盤ブロックSREの纐纈です。 本記事では、過去に遡ってBigQueryのデータを参照する方法（以下、タイムトラベルと呼びます）をご紹介します。また、この機能はBigQueryが提供している、変更または削除されたデータにアクセスする タイムトラベル とは異なることをご了承ください。 開発背景 この機能は過去データを日次ス
新卒エンジニアからマーケティング部に異動して気づいたエンジニアとして経験して良かったこと
2022/05/13
ブックマーク
こんにちは。新卒2年目のRYOBALです。 僕は入社後サーバーサイドエンジニアとして配属され、一年後にあたる今年4月から マーケティング 部に異動しました。 元々、 マーケティング 部の業務には興味を持っており、タイミングよくこの機会に希望した部署に異動となりました。 今回は マーケティング 部に移動して1か月が経ったので、エンジニアから マーケティング 部
新卒がデータマート品質モニタリングシステムを0から創り、社内に展開して表彰された話
2022/04/25
ブックマーク
はじめに 初めまして、株式会社リクルートでデータプランナーとして勤務する酒井と申します。 2020年度新卒でリクルートに入り
BigQuery Reservations(flat-rate pricing)を解説
2022/04/25
ブックマーク
G-gen の杉村です。当記事は「BigQuery Reservation (Flat-rate pricing)」について説明する記事です。 注意 : BigQuery の料金体系について BigQuery Reservations とは 用語 コミットメント (Commitment) 予約 (Reservation) 割り当て (Assignment) 料金 BigQuery Reservation の料金 購入是非の判断 安くなるのか？ 制限 応用 管理プロジェクト スロットスケジューリングとアイドルスロット モニタリング 注意 : B
【オンラインMeetup イベントレポート】Data Engineering Meetup 【ZOZO × GMOペパボ】
2022/04/22
ブックマーク
こんにちは、ZOZO CTOブロックの @ikkou です。 ZOZOでは、4/20に Data Engineering Meetup をGMOペパボさんと共催しました。 zozotech-inc.connpass.com 本イベントではto C向けサービスを提供する2社が、各社のData Engineering事情や直近の取り組みについて発表しました。 登壇内容 まとめ 前半にGMOペパボさんから2名が、後半に弊社から2名が登壇しました。 「データ"抽出"基盤 Yeti をつくってい
PHPerKaigi2022に4名のメンバーが登壇しました
2022/04/18
ブックマーク
メンバーが登壇している様子 この度は、4/9(土)~4/11(日)に開催された PHPerKaigi 2022 に4名のメンバーが登壇しました。 今回は、登壇者 4 名からコメントと、他のセッションの感想などをお届けします！ PHPerKaigi 2022 とは 2022/04/09(土) ~ 2022/04/11(月) の 3 日間にわたって PHPerKaigi 2022 が開催されました。今年はオンラインとオフラインのハイブリット開催になります。 BASE はこれま
PHPerKaigi 2022【参加レポート】
2022/04/15
ブックマーク
配配メール開発課Jazumaです。 2022/04/09(土) ~ 04/11(月)の3日間に渡ってPHPerKaigi2022が開催されました。 今回は初のハイブリッド開催となり、現地・配信ともに大盛況でした。 このイベントは 日本PHPユーザ会 主催のイベントで、 ラク スはスポンサーとして協賛させていただいています。 phperkaigi.jp ラク スからは3人が登壇した他、多くのメンバーが参加しました。 そこで今回
モバイルアプリ開発におけるメトリクスを改善することで、SLO違反の予兆や改善の傾向を認知しやすくした話
2022/04/11
ブックマーク
はじめに はじめまして、 Android エンジニアのmurata( @orerus )です。 アイラ系 ウイスキー を愛していますが、肝臓が弱まってきた為最近は専ら0.5% ハイボール を愛飲しています。 本記事では、タイミーのモバイル アプリ開発 におけるSLO（サービスレベル目標）を設けているメトリクスのちょっとした改善事例について紹介します。 SLOとは何かといった話やタイミーで運用
BigQueryのSearch Indexを解説
2022/04/11
ブックマーク
G-gen の杉村です。 BigQuery の Search Index 機能が 2022年4月7日にプレビュー公開、2022年10月27日に GA されました。BigQuery に対する特定文字列の検索を高速化する当機能を解説します。 BigQuery Search Index の基本 BigQuery Search Index とは ユースケース 料金 制限 対応しているカラムタイプ その他の制限 インデックスの作成と利用 基本的な使い方 全カラムへのインデックス作成・検索
BigQueryの列レベル・行レベルのセキュリティを解説
2022/04/04
ブックマーク
G-genの杉村です。 BigQueryでは 列レベル および 行レベル でアクセスポリシーを設定し、アクセス制限を行うことができます。この機能について解説します。 列レベルのセキュリティ 列レベルのセキュリティとは 分類 (Taxonomy) とポリシータグ 制限 行レベルのセキュリティ 行レベルのセキュリティとは 行レベルアクセスポリシー 制限 列レベルセキュリティ vs 行レベルセ
Modern Data Stack への一歩としての Data Discovery Platform
2022/03/31
ブックマーク
テクノロジー本部のyoshikawaです。 最近のLIFULLでは、自社が所有するデータの活用を目的に数多くの取り組みが実施されています。 今回はデータの発見可能性(Data Discovery)を向上させるための基盤構築を目指して実施したPoC(Proof of Concept)とそのOSSの選定について紹介します。 当初は「自社データの再利用性を高めたい」という広い意味を持った要件で開始したプロジェクト
【連載：Recruit 機械学習コンテスト】④提出・採点の仕組み構築について
2022/03/30
ブックマーク
はじめに データエンジニアの三田です。 この記事は社内で実施したMLコンテストにおける、スコアの提出とその採点に関わる仕組み