「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 466 - 480件目
[DevOpsプラットフォームの取り組み #8] Qmonus Value Streamを支えるアーキテクチャの紹介
2022/11/10
ブックマーク
DevOpsプラットフォームの取り組みを紹介する8回目の記事です。 Qmonus Value Stream 開発チームの浅井です。 連載第8回では、Qmonus Value Streamのアーキテクチャとその技術スタックについて紹介します。 これまでの連載ではQmonus Value Streamで利用している技術要素として、 第4回 ではデータ記述言語であるCUE言語を、 第5回 ではKubernetes Nativeなオープンソースフレームワークである
未経験からSQLを学ぶ上で知っておくべき勉強法をまとめてみた
2022/11/09
ブックマーク
こんにちは。新卒2年目のRYOBALです。 入社後1年間サーバーサイドエンジニアとして業務を行い、その後プロモーション部でSHOPLIST内のデータ分析や施策提案などを行っています。今でもBigQueryで SQL を使ったデータ分析を日々行っています。 今では SQL を使った分析は欠かせないスキルで今後も業務で成果を出すために欠かせないスキルだと考えています。 今後、エンジニ
PythonでGoogle Calendar APIを呼び出す方法
2022/11/07
ブックマーク
G-gen の杉村です。 Cloud Functions で動作する Python プログラムから Google Calendar API を呼び出す方法をご紹介します。 検証内容 プログラムの内容 Google API への認証 検証の流れ Google Calendar API 有効化 サービスアカウント作成・設定 サービスアカウント作成 サービスアカウントへ IAM 権限付与 コマンドライン ソースコードの解説 ソースコード パッケージのインポート 認証情報
BigQueryによる最大内積検索の実装
2022/11/04
ブックマーク
はじめに 機械学習エンジニアの本田志温です。最近担当した類似アイテム推薦の案件で、BigQueryを使って最大内積検索（M
楽して対策！Google Cloud コスト戦略【基本編】
2022/11/02
ブックマーク
みなさんこんにちは。 クラウドエースでSRE として活動してます、戸田と申します。 みなさんはGoogle Cloudを運用する中で、コスト戦略をとれていますか？ いつかは考えないといけないけど、後回しになりがちなコスト戦略について、私たちがよく用いる考え方を紹介していこうと思います。この記事を通じてみなさんのコスト戦略を考えるハードルが下がると幸いです。
BigQueryにエクスポートしたGoogle アナリティクス 4 (GA4) のデータの型について気を付けたいこと
2022/10/31
ブックマーク
本記事は GA4 Week 3日目の記事です。 📈 2日目 ▶▶ 本記事 ▶▶ 4日目 🔍 はじめまして、GA4 Week 3日目を担当します荒川と申します。 普段はGoogle アナリティクス（GA）の導入やGAデータ活用支援などを行っております。 はじめに BigQuery にエクスポートされるデータの構造 データの構造について イベントパラメータのデータ型について 同一keyのイベントパラメータに複数の
Dataform さわってみた
2022/10/27
ブックマーク
はじめに こんにちは、クラウドエースの松浦です。 今回は、パブリックプレビューとなった Dataform をさわってみたいと思います。 その上で、より肝になる機能についてピックアップできればと思います。 Dataform について（個人の感想） Dataform を実際にさわる前に、 Dataform って何？ という個人の感想と公式ドキュメントを案内したいと思います。 個人の感想は「SQLXと
Cloud KMSを徹底解説
2022/10/25
ブックマーク
G-gen の杉村です。Google Cloud の鍵管理サービスである Cloud KMS （Cloud Key Management Service）を徹底解説します。 Cloud KMS とは Cloud KMS の料金 デフォルト暗号化と CMEK デフォルトの暗号化 顧客管理の鍵（CMEK） 透過的な暗号化 Key と Key ring Key (キー、鍵) Key とは 鍵の目的 Key のバージョン 保護レベル (ストレージ) Key ring (キーリング) リソースの削除 鍵のローテーション・バージョ
新生インフラ・SREチームの取り組み
2022/10/24
ブックマーク
こんにちは。 株式会社ココナラのシステムプラットフォーム部でインフラ・SREチームのチームマネージャーをしているよしたくと申します。 本記事では2022/02より立ち上がったインフラ・SREチームの歩みと取り組んできた施策を紹介します。 チームの立ち上がり 以前のチーム状態 弊社では概ね1~2ヶ月に1回程度で大型のプロダクトリリースが行われます。当然大型リリー
Workflows を使って依存関係のあるデータパイプラインを作る
2022/10/24
ブックマーク
クラウドエースでデータ ML エンジニアをやっている神谷と申します。業務では、データ基盤構築やデータ分析に取り組んでいます。本記事では、軽量なワークフローをサーバレスでサクッと作れる Workflows を使って、依存関係のあるデータ パイプラインを構築するにはどういった実装方法が望ましいか検討・検証します。 1. はじめに 本記事では、Workflows を使って依存関
Looker Studio Pro を徹底解説！
2022/10/20
ブックマーク
G-gen 杉村です。Google Cloud の無償 BI ツール Looker Studio の有償版である Looker Studio Pro について解説します。 Looker Studio Pro とは Looker Studio で実現可能なこと Looker Studio Pro の始め方 サブスクリプション 利用開始手順 注意点とトラブルシューティング アセット ワークスペース ワークスペースとは 自分のスペース (My workspace) チームワークスペース (Team workspace) 権限管理 概要 Lo
IAP を使って外部 IP を持たない Compute Engine(WindowsVM)にリモートデスクトップ接続する方法
2022/10/18
ブックマーク
クラウドエースの小坂です。 データウェアハウス構築、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回は Identity-Aware Proxy(IAP)を使って外部 IP を持たない Compute Engine(WindowsVM)にリモートデスクトップ(RDP)接続する方法 を説明しようと思います。 Identity-Aware Proxy(IAP)とは？ Google Cloud が提供する ID を用いて、アプ
タグとラベルの違いについて (Tags / Labels)
2022/10/11
ブックマーク
G-gen の杉村です。 Google Cloud (旧称 GCP) のタグ (Tags) とラベル (Labels) の違いについて解説します。 タグとラベル タグとラベルの概要 利用例 タグとラベルの違い 比較表 リソースとしての扱い IAM や組織ポリシーでの利用 IAM 組織ポリシー 課金管理 課金明細への反映 課金情報の BigQuery エクスポート タグの使い方 タグキー・バリューの作成 リソースへの紐づけ フォルダ・
BigQuery の COUNT DISTINCT を近似集計で高速化する
2022/10/03
ブックマーク
クラウドエースの小坂です。 データウェアハウス構築、最近は特に BigQuery/Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回は膨大なデータの中からある項目のユニーク数(例えば DAU/MAU など)を集計する際に近似集計を使って集計処理を高速化する方法について紹介します。 検証に利用するデータ 今回は BigQuery 上で無償
【Next.js】Server Side RenderingでABテスト(Google Optimize)を実装した話
2022/09/30
ブックマーク
はじめに 初めまして、レバレジーズ株式会社の小林といいます。 私は2022年4月に開発未経験でエンジニアとして中途入社し、teratailというサービスのフロントエンド開発とマーケティング周りの業務に携わっています。 teratailでは、昨年末にリプレイスを行ったこともあり分析基盤がきちんと整備されておらず、各種分析ツール（Google Analytics4やBigQuery、Google Optimizeなど）