「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全387件中 196 - 210件目
Cloud KMSを徹底解説
2022/10/25
ブックマーク
G-gen の杉村です。Google Cloud の鍵管理サービスである Cloud KMS (Cloud Key Management Service) を徹底解説します。 Cloud KMS とは Cloud KMS の料金 デフォルト暗号化と CMEK デフォルトの暗号化 顧客管理の鍵 (CMEK) 透過的な暗号化 Key と Key ring Key (キー、鍵) Key とは 鍵の目的 Key のバージョン 保護レベル (ストレージ) Key ring (キーリング) リソースの削除 鍵のローテーション・バージョン・
新生インフラ・SREチームの取り組み
2022/10/24
ブックマーク
こんにちは。 株式会社ココナラのシステムプラットフォーム部でインフラ・SREチームのチームマネージャーをしているよしたくと申します。 本記事では2022/02より立ち上がったインフラ・SREチームの歩みと取り組んできた施策を紹介します。 チームの立ち上がり 以前のチーム状態 弊社では概ね1~2ヶ月に1回程度で大型のプロダクトリリースが行われます。当然大型リリー
Looker Studio Pro を徹底解説！
2022/10/20
ブックマーク
G-gen 杉村です。Google Cloud の無償 BI ツール Looker Studio の有償版である Looker Studio Pro について解説します。 概要 Looker Studio Pro とは できること 利用開始 サブスクリプション 利用開始手順 注意点とトラブルシューティング アセット ワークスペース ワークスペースとは 自分のスペース (My workspace) チームワークスペース (Team workspace) 権限管理 概要 Looker Studio の権限管理 チー
タグとラベルの違いについて (Tags / Labels)
2022/10/11
ブックマーク
G-gen の杉村です。 Google Cloud (旧称 GCP) のタグ (Tags) とラベル (Labels) の違いについて解説します。 タグとラベル タグとラベルの概要 利用例 タグとラベルの違い 比較表 リソースとしての扱い IAM や組織ポリシーでの利用 IAM 組織ポリシー 課金管理 課金明細への反映 課金情報の BigQuery エクスポート タグの使い方 タグキー・バリューの作成 リソースへの紐づけ フォルダ・
【Next.js】Server Side RenderingでABテスト(Google Optimize)を実装した話
2022/09/30
ブックマーク
はじめに 初めまして、レバレジーズ株式会社の小林といいます。 私は2022年4月に開発未経験でエンジニアとして中途入社し、teratailというサービスのフロントエンド開発とマーケティング周りの業務に携わっています。 teratailでは、昨年末にリプレイスを行ったこともあり分析基盤がきちんと整備されておらず、各種分析ツール（Google Analytics4やBigQuery、Google Optimizeなど）
データ活用を促進するためのデータプラットフォーム開発
2022/09/30
ブックマーク
テクノロジー本部の yoshikawa です。普段の業務では LIFULLのデータに関するエンジニアリングを行っています。 今回の LIFULL Creators Blog ではデータリネージや(メタ)データカタログの整備など、データの活用を促進するような取り組みについて紹介します。 ここ数年で、LIFULL が保有するデータの活用に関する問題点が顕著になり、その解決に向けて今回紹介する取り組みを
ユニットテストで学ぶDataflowの基本
2022/09/28
ブックマーク
みなさんこんにちは、 電通国際情報サービス （ISID）コーポレート本部 システム推進部の佐藤太一です。 このエントリでは Google Dataflowを使ったデータ分析パイプライン構築において中心的な API の使い方について説明します。 Google Dataflowとはなにか Dataflowの開発環境構築 GradleによるDataflowプロジェクトの作り方 Apache Beamの基礎 Pipelineについて PCollectionについて ParDoを使
Cloud StorageトリガでCloud Functions(2nd gen)を動かしてみた
2022/09/26
ブックマーク
G-gen の杉村です。Google Cloud (旧称 GCP) の Cloud Functions (第2世代) を使い Cloud Storage へファイルが配置されたことを起点に起動するプログラムを作ってみました。 前提知識 Cloud Storage と Cloud Functions Cloud Storage トリガの Cloud Functions とは 検証 やること ソースコード 実行結果 デプロイの手順 必要な API の有効化 Cloud Storage サービスエージェントに権限付与 Cloud Functions 関数のデ
ZOZOTOWNホーム画面におけるログ設計と改善サイクルの紹介
2022/09/21
ブックマーク
はじめに こんにちは、ML・データ部推薦基盤ブロックの宮本（ @tm73rst ）です。普段は主にZOZOTOWNのホーム画面や商品ページにおいて、データ活用やレコメンド改善のプロダクトマネジメントを行っております。 近年ビックデータ社会と言われる中、データドリブンという言葉をよく耳にします。ZOZOTOWNのホーム画面は、ホーム画面の各パーツごとにViewable Impression（以降、v
全社共通データ基盤を廃止して新しいデータ基盤に引越した話
2022/09/15
ブックマーク
こんにちは、データ基盤の開発、運用をしていた谷口（ case-k ）です。最近は配信基盤の開発と運用をしています。 ZOZOではオンプレやクラウドにあるデータをBigQueryへ連携し、分析やシステムで活用しています。BigQueryに連携されたテーブルは共通データ基盤として全社的に利用されています。 共通データ基盤は随分前に作られたこともあり、様々な負債を抱えていまし
ZOZOTOWN Androidチームにおけるコードメトリクスとビルド時間計測の取り組み
2022/09/08
ブックマーク
はじめに ZOZOTOWN開発本部 ZOZOTOWNアプリ部 Android2ブロックの高橋です。 ZOZOTOWN Androidチームでは、リファクタリングやビルド速度改善の取り組みを継続的に行なっています。本記事では、それらの取り組みの効果を可視化するために導入した、コードメトリクスやビルド時間計測の方法について紹介します。 はじめに ZOZOTOWN Androidチームにおけるリファクタリングやビルド速
Eventarcトリガーを利用してCloud StorageのファイルメタデータをBigQueryへ格納してみた
2022/09/05
ブックマーク
G-gen 又吉です。今回は Eventarcトリガーを利用して、Cloud Storage のファイルメタデータを BigQuery へ格納してみました。 概要 作成するもの Eventarcとは？ Cloud Strage の準備 Cloud Storage トリガーとは Cloud Storage サービス アカウントへの権限付与 ファイルアップロード用のバケットの作成 BigQuery のテーブル作成 Cloud Functions の作成 Cloud Functions の作成 main.py の内容 requirements.txt の内
Professional Cloud Database Engineer試験対策マニュアル
2022/08/30
ブックマーク
G-genの杉村です。Google Cloud (旧称 GCP) の認定資格である Professional Cloud Database Engineer 資格の試験対策に有用な情報を記載します。 基本的な情報 Professional Cloud Database Engineer とは 難易度 出題傾向 試験対策 Cloud SQL 基本的な知識 接続と認証・認可 高可用性とレプリカ 高可用性構成 (HA 構成) フェイルオーバー HA 構成への変更 リードレプリカ バックアップ・リストア モニタリ
IoT Connect GatewayのSDP開発に迫る
2022/08/29
ブックマーク
目次 はじめに SDP開発とは SDP開発とは SSS/SDPフレームワーク ICGW-SDP基盤 全体構成 CI/CD ICGWの可視化 APIリクエスト数 リソース利用状況 おわりに はじめに こんにちは、5G & IoT部/IoTサービス部門のIoT Connect Gateway (ICGW)サービス開発チームの岩田です。 我々のチームでは2021年度下期に私の主導のもと、ICGWのSDP開発というものを行い、 Smart Data Platform (SDPF)ポータル対応 および
BigQueryでのデータ追記処理における冪等化の取り組み
2022/08/16
ブックマーク
こんにちは、MA基盤チームの田島です。私達のチームではMAIL、LINE、PUSH通知といったユーザへの配信をしています。その中でもマス・セグメント配信という一斉に行う配信では、配信対象者のセグメント抽出にBigQueryを利用しています。また、配信前に必要なデータをBigQueryに連携しデータマートの集計をしたり、配信後には配信実績の登録などの更新処理をしています。