「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全747件中 661 - 675件目
BigQueryでの集計結果をノーコードでSlackに定期投稿してみた
2021/04/13
ブックマーク
こんにちは、DATA-SREチームの塩崎です。最近気になるニュースは「ネコがマタタビを好む理由が蚊を避けるためだった 1 」です。 さて、皆さんはデータ基盤で集計した結果をどのようにして確認していますか。LookerやPower BIなどのBIツールを使って綺麗なダッシュボードを作成している方も多いかと思います。しかし、全員が毎日確認すべき数値はSlackなどの全員が日常的
OSSにコントリビュートしてログ収集基盤におけるCloud Pub/Subのリージョン間通信費用を削減した話
2021/04/12
ブックマーク
こんにちはSRE部の川津です。ZOZOTOWNにおけるログ収集基盤の開発を進めています。開発を進めていく中でCloud Pub/Subのリージョン間費用を削減できる部分が見つかりました。 今回、OSSである fluent-plugin-gcloud-pubsub-custom にコントリビュートした結果、Cloud Pub/Subのリージョン間費用を削減できました。その事例を、ログ収集基盤開発の経緯と実装要件を踏まえて紹介します。
EC2 Image Builderを用いたRedashの運用改善
2021/04/06
ブックマーク
こんにちは、SRE部の谷口（ case-k ）です。 本記事では、EC2 Image Builderを使いRedashの運用改善を行った事例をご紹介します。運用しているRedashについてご紹介し、その後、Redashの運用課題に対してEC2 Image Builderでどのように解決したかTipsも踏まえご紹介します。 余談ですが全国どこでも働けるようになったので沖縄に住めています(感謝！) https://press-tech.zozo.com/entry/20210118_zozo
Cloud Composerによるデータバリデーション ～常に正確なデータ集計を実現するために～
2021/02/15
ブックマーク
こんにちは。ECプラットフォーム部データエンジニアの遠藤です。現在、私は推薦基盤チームに所属して、データ集計基盤の運用やDMP・広告まわりのデータエンジニアリングなどに従事しています。 以前、私たちのチームではクエリ管理に Looker を導入することで、データガバナンスを効かせたデータ集計基盤を実現しました。詳細は、以前紹介したデータ集計基盤につい
GoでBigQueryに貯めたIstioのアクセスログを分析するツールをつくる
2021/02/12
ブックマーク
こんにちは。SaaS Product Team SREの八代です。 はじめに 弊社が開発しているSPEEDAでは、KubernetesとIstioを利用してサービスメッシュ基盤を構築しています。オンプレミス上に構築したK8s、GKE、Google Anthosなど10個以上のK8sクラスタを管理しており、その上でIstioが導入された数100個のPodが稼働しています。 今回は、Istioを導入しているPodのアクセス分析を行う上での課題を共有す
技術試験をなぜするのか
2021/02/11
ブックマーク
こんにちは、スマートキャンプのエンジニアの瀧川です。 私はこのブログではBigQuery大好き芸人としてよく記事を書いてますが、実は普段の業務では30%くらいの時間をエンジニア採用に割いております。 今日は弊社で実践している技術試験及び技術面接について、 どのような目的を持ってどのように設計したか、またそこにかける思い を書かせていただこうと思います
Grafana の Backend plugin を利用して BigQuery と連携した監視をする
2021/01/26
ブックマーク
はじめに こんにちは、UZABASE SREの鈴木(@sshota0809)です。 今回は、Grafana の Backend plugin という仕組みを利用して、データソースを BigQuery とした監視設定を行う方法を紹介します。 はじめに TL;DR はじめに 現在のログ収集構成 やりたかったこと Grafana Backend plugin を利用した BigQuery ベースの監視設定 Grafana と Backend plugin Grafana Backend plugin BigQuery プラグイン プラグインのインス
ZOZOTOWNのPUSH配信基盤をFCMにシームレスに移行するための考慮ポイント
2021/01/22
ブックマーク
こんにちは、MA基盤チームの田島です。ZOZOTOWNでは、ユーザコミュニケーションの手段としてLINE、MAIL、アプリへのPUSH通知を利用しユーザへのお知らせを実現しています。 その中でも、現在ユーザへのコミュニケーション強化の一環としてアプリPUSH通知（以降、PUSH通知）の強化をしようと考えています。ZOZOTOWNのPUSH通知は今まで、とある外部SaaS（本記事で出てくるSaaSは
BigQueryの監査ログをリアルタイムに監視して使いすぎを防止してみる
2021/01/12
ブックマーク
こんにちは。SRE部の塩崎です。七味唐辛子の粉末を7種類に分類するという趣味を発展させて、おっとっとを新口動物と旧口動物に分類するという趣味を最近発明しました。 BigQueryは非常にパワフルなData WareHouse(DWH) SaaSであり、大容量のデータを一瞬で分析できます。しかし、課金額がスキャンしたデータ量に比例するという特徴があるため、意図せずに大量のデータをス
Google Developers ML Summit に登壇しました
2021/01/04
ブックマーク
こんにちは。LIFULL でネイティブアプリのスペシャリストをしている菊地です。 普段は LIFULL HOME'S アプリ（iOS, Android）の開発チームで Tech Lead をしています。 2020年12月3日（木）、4日（金）に開催された Google Developers ML Summit に BigQuery で実現するユーザーの傾向に合わせたレコメンドシステム というセッションで登壇させていただきました。 cloudonair.withgoogle.com 当日はまさ
リアルタイムマーケティングシステム検証環境の構築ビフォーアフター
2020/12/30
ブックマーク
はじめに こんにちは。2020年5月に入社しましたMA基盤チームの辻岡です。 MA基盤チームでは、マーケティングに関わる様々なプロダクトやシステムの施策開発・運用を行っています。その中の1つにリアルタイムマーケティングシステムというものがあります。 これまでこのシステムには検証環境が存在しませんでした。そこで、検証環境を新たに作る事でシステムの開発
Apache Airflowで実装するDAG間の実行タイミング同期処理
2020/12/20
ブックマーク
こんにちは。 今年4月に エニグモ に入社したデータエンジニアの谷元です。 この記事は Enigmo Advent Calendar 2020 の 20日 目の記事です。 目次 はじめに そもそも同期処理とは？ Airflowによる同期処理 検証時のコード サンプルをAirflow画面で見ると？ 同期遅延なし時のAirflowログ 同期遅延あり時のAirflowログ 同期タイムアウト時のAirflowログ 所感 最後に はじめに コロナ禍の中、
SQL Server、BigQuery、Redshift 日付型の比較＆リファレンス
2020/12/14
ブックマーク
この記事は Enigmo Advent Calendar 2020 の14日目の記事です。 はじめに こんにちは、 エニグモ 嘉松です。 簡単な自己紹介ですが、 BUYMA のプロモーションや マーケティング を行っている事業部に所属して、その中のデータ活用推進室という部署で会社のデータ活用の推進や マーケティング ・オートメーションツール（MAツール）を活用した販促支援、 CRM などを担当していま
delyクラシル、最近のデータ基盤の話
2020/12/05
ブックマーク
はじめに こんにちは。dely開発部でデータエンジニアしてる伊ヶ崎（ @_ikki02 ）です。 本記事はdely Advent Calendar 2020の5日目の記事です。 adventar.org adventar.org （delyでは今年から2レーンでアドベントカレンダーやってます。） 昨日は当社デザイナーの @ysk_en が「 マジで助かった、新卒1年目デザイナーの教科書的noteや便利なサービス8選 」という記事を書きました。 タイトル
Cloud Run 使ってみた
2020/12/01
ブックマーク
こんにちは。サーバーサイドエンジニアの平井です。 今年もあと1ヶ月ですね。リモートワーク中心の生活スタイルに変わり、より一層時が過ぎるのを速く感じています。 もう年末ということで、弊社では今年もAdvent Calendarを開催します!! 題して、 Enigmo Advent Calendar 2020 です!! 記念すべき1日目は、私、平井の「Cloud Run 使ってみた」になります。 プロジェクトで簡単な API