「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全747件中 541 - 555件目
BigQueryによる最大内積検索の実装
2022/11/04
ブックマーク
はじめに 機械学習エンジニアの本田志温です。最近担当した類似アイテム推薦の案件で、BigQueryを使って最大内積検索（M
楽して対策！Google Cloud コスト戦略【基本編】
2022/11/02
ブックマーク
みなさんこんにちは。 クラウドエースでSRE として活動してます、戸田と申します。 みなさんはGoogle Cloudを運用する中で、コスト戦略をとれていますか？ いつかは考えないといけないけど、後回しになりがちなコスト戦略について、私たちがよく用いる考え方を紹介していこうと思います。この記事を通じてみなさんのコスト戦略を考えるハードルが下がると幸いです。
BigQueryにエクスポートしたGoogle アナリティクス 4 (GA4) のデータの型について気を付けたいこと
2022/10/31
ブックマーク
本記事は GA4 Week 3日目の記事です。 📈 2日目 ▶▶ 本記事 ▶▶ 4日目 🔍 はじめまして、GA4 Week 3日目を担当します荒川と申します。 普段はGoogle アナリティクス（GA）の導入やGAデータ活用支援などを行っております。 はじめに BigQuery にエクスポートされるデータの構造 データの構造について イベントパラメータのデータ型について 同一keyのイベントパラメータに複数の
Dataform さわってみた
2022/10/27
ブックマーク
はじめに こんにちは、クラウドエースの松浦です。 今回は、パブリックプレビューとなった Dataform をさわってみたいと思います。 その上で、より肝になる機能についてピックアップできればと思います。 Dataform について（個人の感想） Dataform を実際にさわる前に、 Dataform って何？ という個人の感想と公式ドキュメントを案内したいと思います。 個人の感想は「SQLXと
Cloud KMSを徹底解説
2022/10/25
ブックマーク
G-gen の杉村です。Google Cloud の鍵管理サービスである Cloud KMS （Cloud Key Management Service）を徹底解説します。 Cloud KMS とは Cloud KMS の料金 デフォルト暗号化と CMEK デフォルトの暗号化 顧客管理の鍵（CMEK） 透過的な暗号化 Key と Key ring Key (キー、鍵) Key とは 鍵の目的 Key のバージョン 保護レベル (ストレージ) Key ring (キーリング) リソースの削除 鍵のローテーション・バージョ
新生インフラ・SREチームの取り組み
2022/10/24
ブックマーク
こんにちは。 株式会社ココナラのシステムプラットフォーム部でインフラ・SREチームのチームマネージャーをしているよしたくと申します。 本記事では2022/02より立ち上がったインフラ・SREチームの歩みと取り組んできた施策を紹介します。 チームの立ち上がり 以前のチーム状態 弊社では概ね1~2ヶ月に1回程度で大型のプロダクトリリースが行われます。当然大型リリー
Workflows を使って依存関係のあるデータパイプラインを作る
2022/10/24
ブックマーク
クラウドエースでデータ ML エンジニアをやっている神谷と申します。業務では、データ基盤構築やデータ分析に取り組んでいます。本記事では、軽量なワークフローをサーバレスでサクッと作れる Workflows を使って、依存関係のあるデータ パイプラインを構築するにはどういった実装方法が望ましいか検討・検証します。 1. はじめに 本記事では、Workflows を使って依存関
Looker Studio Pro を徹底解説！
2022/10/20
ブックマーク
G-gen 杉村です。Google Cloud の無償 BI ツール Looker Studio の有償版である Looker Studio Pro について解説します。 Looker Studio Pro とは Looker Studio で実現可能なこと Looker Studio Pro の始め方 サブスクリプション 利用開始手順 注意点とトラブルシューティング アセット ワークスペース ワークスペースとは 自分のスペース (My workspace) チームワークスペース (Team workspace) 権限管理 概要 Lo
IAP を使って外部 IP を持たない Compute Engine(WindowsVM)にリモートデスクトップ接続する方法
2022/10/18
ブックマーク
クラウドエースの小坂です。 データウェアハウス構築、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回は Identity-Aware Proxy(IAP)を使って外部 IP を持たない Compute Engine(WindowsVM)にリモートデスクトップ(RDP)接続する方法 を説明しようと思います。 Identity-Aware Proxy(IAP)とは？ Google Cloud が提供する ID を用いて、アプ
タグとラベルの違いについて (Tags / Labels)
2022/10/11
ブックマーク
G-gen の杉村です。 Google Cloud (旧称 GCP) のタグ (Tags) とラベル (Labels) の違いについて解説します。 タグとラベル タグとラベルの概要 利用例 タグとラベルの違い 比較表 リソースとしての扱い IAM や組織ポリシーでの利用 IAM 組織ポリシー 課金管理 課金明細への反映 課金情報の BigQuery エクスポート タグの使い方 タグキー・バリューの作成 リソースへの紐づけ フォルダ・
BigQuery の COUNT DISTINCT を近似集計で高速化する
2022/10/03
ブックマーク
クラウドエースの小坂です。 データウェアハウス構築、最近は特に BigQuery/Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回は膨大なデータの中からある項目のユニーク数(例えば DAU/MAU など)を集計する際に近似集計を使って集計処理を高速化する方法について紹介します。 検証に利用するデータ 今回は BigQuery 上で無償
【Next.js】Server Side RenderingでABテスト(Google Optimize)を実装した話
2022/09/30
ブックマーク
はじめに 初めまして、レバレジーズ株式会社の小林といいます。 私は2022年4月に開発未経験でエンジニアとして中途入社し、teratailというサービスのフロントエンド開発とマーケティング周りの業務に携わっています。 teratailでは、昨年末にリプレイスを行ったこともあり分析基盤がきちんと整備されておらず、各種分析ツール（Google Analytics4やBigQuery、Google Optimizeなど）
データ活用を促進するためのデータプラットフォーム開発
2022/09/30
ブックマーク
テクノロジー本部の yoshikawa です。普段の業務では LIFULLのデータに関するエンジニアリングを行っています。 今回の LIFULL Creators Blog ではデータリネージや(メタ)データカタログの整備など、データの活用を促進するような取り組みについて紹介します。 ここ数年で、LIFULL が保有するデータの活用に関する問題点が顕著になり、その解決に向けて今回紹介する取り組みを
ユニットテストで学ぶDataflowの基本
2022/09/28
ブックマーク
みなさんこんにちは、 電通国際情報サービス （ISID）コーポレート本部 システム推進部の佐藤太一です。 このエントリでは Google Dataflowを使ったデータ分析パイプライン構築において中心的な API の使い方について説明します。 Google Dataflowとはなにか Dataflowの開発環境構築 GradleによるDataflowプロジェクトの作り方 Apache Beamの基礎 Pipelineについて PCollectionについて ParDoを使
Cloud StorageトリガでCloud Run functions(2nd gen)を動かしてみた
2022/09/26
ブックマーク
G-gen の杉村です。Google Cloud (旧称 GCP) の Cloud Run functions (第2世代) を使い Cloud Storage へファイルが配置されたことを起点に起動するプログラムを作ってみました。 前提知識 Cloud Storage と Cloud Run functions Cloud Storage トリガの Cloud Run functions とは 検証 やること ソースコード 実行結果 デプロイの手順 必要な API の有効化 Cloud Storage サービスエージェントに権限付与 トリガー用