「Google BigQuery」に関連する技術ブログ

企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。

BigQueryで再帰クエリを使いこなす

みなさんこんにちは、 電通国際情報サービス (ISID)コーポレート本部 システム推進部の佐藤太一です。 先日、TECHPLAYでDataflowに関連するお話をしました。 その日の模様が公開されていますので、ご興味のある方は是非ご覧ください。 techplay.jp さて、このエントリではBigQueryにおいて利用できる 再帰 クエリ(WITH RECURSIVE句とUNION ALL)について紹介します。 再帰 クエリを

BigQueryのストレージ料金プランを変更して、年間数千万円を節約する

こんにちは、最近気になるニュースはサザエの学名が数年前に初めて命名されたこと 1 な、MLデータ部データ基盤ブロックの塩崎です。BigQueryのストレージに関する新料金プランが先日発表されたので、その検証をしました。我々の環境では年間で数千万円という費用削減を達成できることが分かりましたので、BigQueryに多くのデータを蓄積している会社は是非お試しくだ

Cloud Loggingログバケットの課金開始(2023年4月1日から)

G-gen の杉村です。これまで料金の掛かっていなかった「Cloud Logging ログバケットのログ保存料金」の課金が、2023年4月1日から開始されます。(当記事は2022年11月22日に執筆され、2023年2月27日に更新されました。) 概要と経緯 課金開始が2023年4月1日からに変更 何をすればいいのか 料金の確認 概要と経緯 Cloud Logging の ログバケット は Cloud Logging のログを保管するための独自ス

エリア面積計算の多面的アプローチ

こんにちは! LuupのData Strategy部(Data Scienceチーム所属)の大島です。ここでは、LuupのData Scienceチームと、Luupのデータ分析の醍醐味である地理空間データを使ったポート密度に関する分析をご紹介します。 LuupのData Scienceチームの紹介 Luupの事業では、電動アシスト自転車や電動キックボードを停めるポートの獲得、アプリや車両などのプロダクトの設計・開発・運用、車

エリア面積計算の多面的アプローチ

こんにちは! LuupのData Strategy部(Data Scienceチーム所属)の大島です。ここでは、LuupのData Scienceチームと、Luupのデータ分析の醍醐味である地理空間データを使ったポート密度に関する分析をご紹介します。 LuupのData Scienceチームの紹介 Luupの事業では、電動アシスト自転車や電動キックボードを停めるポートの獲得、アプリや車両などのプロダクトの設計・開発・運用、車

[DevOpsプラットフォームの取り組み #8] Qmonus Value Streamを支えるアーキテクチャの紹介

DevOpsプラットフォームの取り組みを紹介する8回目の記事です。 Qmonus Value Stream 開発チームの浅井です。 連載第8回では、Qmonus Value Streamのアーキテクチャとその技術スタックについて紹介します。 これまでの連載ではQmonus Value Streamで利用している技術要素として、 第4回 ではデータ記述言語であるCUE言語を、 第5回 ではKubernetes Nativeなオープンソースフレームワークである

未経験からSQLを学ぶ上で知っておくべき勉強法をまとめてみた

こんにちは。新卒2年目のRYOBALです。 入社後1年間サーバーサイドエンジニアとして業務を行い、その後プロモーション部でSHOPLIST内のデータ分析や施策提案などを行っています。今でもBigQueryで SQL を使ったデータ分析を日々行っています。 今では SQL を使った分析は欠かせないスキルで今後も業務で成果を出すために欠かせないスキルだと考えています。 今後、エンジニ

PythonでGoogle Calendar APIを呼び出す方法

G-gen の杉村です。 Cloud Functions で動作する Python プログラムから Google Calendar API を呼び出す方法をご紹介します。 検証内容 プログラムの内容 Google API への認証 検証の流れ Google Calendar API 有効化 サービスアカウント作成・設定 サービスアカウント作成 サービスアカウントへ IAM 権限付与 コマンドライン ソースコードの解説 ソースコード パッケージのインポート 認証情報

BigQueryによる最大内積検索の実装

はじめに 機械学習エンジニアの本田志温です。最近担当した類似アイテム推薦の案件で、BigQueryを使って最大内積検索(M

BigQueryにエクスポートしたGoogle アナリティクス 4 (GA4) のデータの型について気を付けたいこと

本記事は GA4 Week 3日目の記事です。 📈 2日目 ▶▶ 本記事 ▶▶ 4日目 🔍 はじめまして、GA4 Week 3日目を担当します荒川と申します。 普段はGoogle アナリティクス(GA)の導入やGAデータ活用支援などを行っております。 はじめに BigQuery にエクスポートされるデータの構造 データの構造について イベントパラメータのデータ型について 同一keyのイベントパラメータに複数の

Cloud KMSを徹底解説

G-gen の杉村です。Google Cloud の鍵管理サービスである Cloud KMS (Cloud Key Management Service) を徹底解説します。 Cloud KMS とは Cloud KMS の料金 デフォルト暗号化と CMEK デフォルトの暗号化 顧客管理の鍵 (CMEK) 透過的な暗号化 Key と Key ring Key (キー、鍵) Key とは 鍵の目的 Key のバージョン 保護レベル (ストレージ) Key ring (キーリング) リソースの削除 鍵のローテーション・バージョン・

新生インフラ・SREチームの取り組み

こんにちは。 株式会社ココナラのシステムプラットフォーム部でインフラ・SREチームのチームマネージャーをしているよしたくと申します。 本記事では2022/02より立ち上がったインフラ・SREチームの歩みと取り組んできた施策を紹介します。 チームの立ち上がり 以前のチーム状態 弊社では概ね1~2ヶ月に1回程度で大型のプロダクトリリースが行われます。当然大型リリー

Looker Studio Pro を徹底解説!

G-gen 杉村です。Google Cloud の無償 BI ツール Looker Studio の有償版である Looker Studio Pro について解説します。 概要 Looker Studio Pro とは できること 利用開始 サブスクリプション 利用開始手順 注意点とトラブルシューティング アセット ワークスペース ワークスペースとは 自分のスペース (My workspace) チームワークスペース (Team workspace) 権限管理 概要 Looker Studio の権限管理 チー

タグとラベルの違いについて (Tags / Labels)

G-gen の杉村です。 Google Cloud (旧称 GCP) のタグ (Tags) とラベル (Labels) の違いについて解説します。 タグとラベル タグとラベルの概要 利用例 タグとラベルの違い 比較表 リソースとしての扱い IAM や組織ポリシーでの利用 IAM 組織ポリシー 課金管理 課金明細への反映 課金情報の BigQuery エクスポート タグの使い方 タグキー・バリューの作成 リソースへの紐づけ フォルダ・

【Next.js】Server Side RenderingでABテスト(Google Optimize)を実装した話

はじめに 初めまして、レバレジーズ株式会社の小林といいます。 私は2022年4月に開発未経験でエンジニアとして中途入社し、teratailというサービスのフロントエンド開発とマーケティング周りの業務に携わっています。 teratailでは、昨年末にリプレイスを行ったこともあり分析基盤がきちんと整備されておらず、各種分析ツール(Google Analytics4やBigQuery、Google Optimizeなど)
技術ブログを絞り込む

TECH PLAY でイベントをはじめよう

グループを作れば、無料で誰でもイベントページが作成できます。情報発信や交流のためのイベントをTECH PLAY で公開してみませんか?