「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全389件中 301 - 315件目
Google Apps Script× BigQuery × Googleスプレッドシート × データポータルで簡易CRMを作ってみた
2021/07/07
ブックマーク
こんにちは!! BASE BANK 株式会社 Dev Division にてSoftware Developerをしている永野( @glassmonkey )です。 普段はGo/Python/PHPを主に生業に開発・運用から何でもござれの精神でフルサイクルエンジニアをしています。 現在、自分たちのプロダクトである YELL BANK の分析基盤を構築しています。 その際に、BigQueryで扱っているデータをGoogle App Script(以下GAS)、Googleスプレッドシートとデータ
Core Web Vitals 改善のお話
2021/07/06
ブックマーク
Core Web Vitals 改善のお話 はじめに まずは計測してみる 弱点を特定する LCP の改善 無駄なリソースの読み込みを除去 http2 への切り替え 画像を適切なサイズで配信 改善したものの数値に影響がなかったもの 巨人の肩に乗る（大切） CLS の改善 CLS の算出アルゴリズムが変わったことで CLS が向上 スコアロジックにも変更あり 改善の結果 まとめ Core Web Vitals 改善のお話 はじめ
Workload Identityを使用して、AWS環境からGoogle Cloudリソースを作成する
2021/07/01
ブックマーク
こんにちは、上野です。 今回はGoogle Cloud関連の内容です。みなさまGoogle CloudのリソースをTerraformなどのIaCでデプロイする場合、どのように実行されていますか？ AWSがメイン処理＋Google Cloud（BigQueryなど一部）という構成を取ることがあり、AWS側でデプロイ管理もしようとすることも我々の現場では多いです。 Google CloudのリソースをAWSからデプロイする場合、Google Cloud側に
エッジコンピューティングでアクセス集中、パーソナライズ、プライバシー保護の課題を解決
2021/06/21
ブックマーク
エンジニアの木村です。最近は負荷対策のための リファクタリング やリアーキテクティングのリードや、データ基盤・ML・検索基盤を担当するチームのマネージャーとしてデータ関連の案件に携わっております。 先週、webinar 形式で行われた Akamai TechWeek 2021 Japan にて、6/16 に「EdgeWorkersの導入について」というテーマで、昨年末にバイマに導入したEdgeWorkersという Akamai の
Aurora MySQLからCloud SQLへのレプリケーション構築における注意すべき2つのポイント
2021/05/12
ブックマーク
こんにちは、MA部でエンジニアをしている田島です。 以前に弊社の塩崎が「Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた」という発表を行いました。 こちらの発表では、Amazon Aurora MySQLのデータをGoogle BigQueryへリアルタイムにデータ連携する方法を紹介しています。リアルタイムデータ連携を実現するために、Aurora MySQLをレプリケーションソースとしてGo
Core Web Vitalsの計測環境を整える
2021/05/11
ブックマーク
Core Web Vitalsの計測環境を整える はじめに 現在、MAMADAYSのWebチームでは昨年発表されたCore Web Vitalsを中心としたパフォーマンス改善に注力しています。 今回はパフォーマンス改善でも重要な計測部分について、MAMADAYSではどのようにCore Web Vitalsのデータを定点観測する環境を整えているのかをご紹介したいと思います。 Core Web Vitalsとは Core Web Vitalsとは、全てのサイトにお
SQL Serverのスナップショット分離レベル導入によるデータ基盤連携の課題解決
2021/04/28
ブックマーク
こんにちは。アーキテクト部の廣瀬です。 弊社ではサービスの一部にSQL Serverを使用しており、BigQuery上のデータ基盤へテーブルを連携しています。連携の仕組みは非常によくできているものの、データ不整合や遅延が発生し得るという課題を抱えていました。しかし、SQL Serverのスナップショット分離レベルを導入することでそれらを解決できました。本記事では、抱えて
BigQueryでの集計結果をノーコードでSlackに定期投稿してみた
2021/04/13
ブックマーク
こんにちは、DATA-SREチームの塩崎です。最近気になるニュースは「ネコがマタタビを好む理由が蚊を避けるためだった 1 」です。 さて、皆さんはデータ基盤で集計した結果をどのようにして確認していますか。LookerやPower BIなどのBIツールを使って綺麗なダッシュボードを作成している方も多いかと思います。しかし、全員が毎日確認すべき数値はSlackなどの全員が日常的
OSSにコントリビュートしてログ収集基盤におけるCloud Pub/Subのリージョン間通信費用を削減した話
2021/04/12
ブックマーク
こんにちはSRE部の川津です。ZOZOTOWNにおけるログ収集基盤の開発を進めています。開発を進めていく中でCloud Pub/Subのリージョン間費用を削減できる部分が見つかりました。 今回、OSSである fluent-plugin-gcloud-pubsub-custom にコントリビュートした結果、Cloud Pub/Subのリージョン間費用を削減できました。その事例を、ログ収集基盤開発の経緯と実装要件を踏まえて紹介します。
EC2 Image Builderを用いたRedashの運用改善
2021/04/06
ブックマーク
こんにちは、SRE部の谷口（ case-k ）です。 本記事では、EC2 Image Builderを使いRedashの運用改善を行った事例をご紹介します。運用しているRedashについてご紹介し、その後、Redashの運用課題に対してEC2 Image Builderでどのように解決したかTipsも踏まえご紹介します。 余談ですが全国どこでも働けるようになったので沖縄に住めています(感謝！) https://press-tech.zozo.com/entry/20210118_zozo
Cloud Composerによるデータバリデーション ～常に正確なデータ集計を実現するために～
2021/02/15
ブックマーク
こんにちは。ECプラットフォーム部データエンジニアの遠藤です。現在、私は推薦基盤チームに所属して、データ集計基盤の運用やDMP・広告まわりのデータエンジニアリングなどに従事しています。 以前、私たちのチームではクエリ管理に Looker を導入することで、データガバナンスを効かせたデータ集計基盤を実現しました。詳細は、以前紹介したデータ集計基盤につい
GoでBigQueryに貯めたIstioのアクセスログを分析するツールをつくる
2021/02/12
ブックマーク
こんにちは。SaaS Product Team SREの八代です。 はじめに 弊社が開発しているSPEEDAでは、KubernetesとIstioを利用してサービスメッシュ基盤を構築しています。オンプレミス上に構築したK8s、GKE、Google Anthosなど10個以上のK8sクラスタを管理しており、その上でIstioが導入された数100個のPodが稼働しています。 今回は、Istioを導入しているPodのアクセス分析を行う上での課題を共有す
技術試験をなぜするのか
2021/02/11
ブックマーク
こんにちは、スマートキャンプのエンジニアの瀧川です。 私はこのブログではBigQuery大好き芸人としてよく記事を書いてますが、実は普段の業務では30%くらいの時間をエンジニア採用に割いております。 今日は弊社で実践している技術試験及び技術面接について、 どのような目的を持ってどのように設計したか、またそこにかける思い を書かせていただこうと思います
Grafana の Backend plugin を利用して BigQuery と連携した監視をする
2021/01/26
ブックマーク
はじめに こんにちは、UZABASE SREの鈴木(@sshota0809)です。 今回は、Grafana の Backend plugin という仕組みを利用して、データソースを BigQuery とした監視設定を行う方法を紹介します。 はじめに TL;DR はじめに 現在のログ収集構成 やりたかったこと Grafana Backend plugin を利用した BigQuery ベースの監視設定 Grafana と Backend plugin Grafana Backend plugin BigQuery プラグイン プラグインのインス
ZOZOTOWNのPUSH配信基盤をFCMにシームレスに移行するための考慮ポイント
2021/01/22
ブックマーク
こんにちは、MA基盤チームの田島です。ZOZOTOWNでは、ユーザコミュニケーションの手段としてLINE、MAIL、アプリへのPUSH通知を利用しユーザへのお知らせを実現しています。 その中でも、現在ユーザへのコミュニケーション強化の一環としてアプリPUSH通知（以降、PUSH通知）の強化をしようと考えています。ZOZOTOWNのPUSH通知は今まで、とある外部SaaS（本記事で出てくるSaaSは