「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全387件中 181 - 195件目
SORACOM API の定期取得を GCP で作った Node-RED で取得する Tips
2022/12/06
ブックマーク
こんにちは IoT チームの田中です。 この記事は Luup Advent Calendar の 6 日目の記事です。 LUUP 車両の通信は SORACOM SIM を利用していて、SORACOM API を使って通信状況や稼働状況などを30分程度の間隔で定期的に記録するようにしています。 どのようにデータを記録して、そのデータをどう活用するかは、まだまだ試行錯誤の段階のため、プロトタイピングしやすいように Node-RED
SORACOM API の定期取得を GCP で作った Node-RED で取得する Tips
2022/12/06
ブックマーク
こんにちは IoT チームの田中です。 この記事は Luup Advent Calendar の 6 日目の記事です。 LUUP 車両の通信は SORACOM SIM を利用していて、SORACOM API を使って通信状況や稼働状況などを30分程度の間隔で定期的に記録するようにしています。 どのようにデータを記録して、そのデータをどう活用するかは、まだまだ試行錯誤の段階のため、プロトタイピングしやすいように Node-RED
BigQueryでのデータ分析にARRAYを活用する
2022/12/05
ブックマーク
こんにちは。 株式会社ココナラのR&Dグループ/検索・推薦グロースチーム所属のエンジニア、Unseoと申します。 本記事では、BigQuery上でのデータ分析にARRAYを活用した分析手法をご紹介いたします。 検索システムのログ分析をテーマに進めていきますが、広告やレコメンドエンジンなど、その他ログの分析にも応用できるテクニックかと思いますので、 普段の分析をも
アジリティを保ってデータ基盤を作る取り組み
2022/12/02
ブックマーク
はじめに この記事は BASE Advent Calendar 2022 と Looker Advent Calender 2022 2日目の記事です。 こんにちは。BASE 株式会社 New Division BASE BANK Section にて、Engineering Program Manager (以下EPM) 1 をしている永野( @glassmonekey ) です。 私達のBASE BANK Section チーム (以下 BANK チーム) はBASEの中でも、新規事業の金融系のプロダクトにフォーカスしたチームになります。特に新規事業なので、日々の不
BigQueryで再帰クエリを使いこなす
2022/11/28
ブックマーク
みなさんこんにちは、 電通国際情報サービス （ISID）コーポレート本部 システム推進部の佐藤太一です。 先日、TECHPLAYでDataflowに関連するお話をしました。 その日の模様が公開されていますので、ご興味のある方は是非ご覧ください。 techplay.jp さて、このエントリではBigQueryにおいて利用できる 再帰 クエリ（WITH RECURSIVE句とUNION ALL）について紹介します。 再帰 クエリを
BigQueryで再帰クエリを使いこなす
2022/11/28
ブックマーク
みなさんこんにちは、 電通国際情報サービス （ISID）コーポレート本部 システム推進部の佐藤太一です。 先日、TECHPLAYでDataflowに関連するお話をしました。 その日の模様が公開されていますので、ご興味のある方は是非ご覧ください。 techplay.jp さて、このエントリではBigQueryにおいて利用できる 再帰 クエリ（WITH RECURSIVE句とUNION ALL）について紹介します。 再帰 クエリを
BigQueryのストレージ料金プランを変更して、年間数千万円を節約する
2022/11/22
ブックマーク
こんにちは、最近気になるニュースはサザエの学名が数年前に初めて命名されたこと 1 な、MLデータ部データ基盤ブロックの塩崎です。BigQueryのストレージに関する新料金プランが先日発表されたので、その検証をしました。我々の環境では年間で数千万円という費用削減を達成できることが分かりましたので、BigQueryに多くのデータを蓄積している会社は是非お試しくだ
Cloud Loggingログバケットの課金開始(2023年4月1日から)
2022/11/22
ブックマーク
G-gen の杉村です。これまで料金の掛かっていなかった「Cloud Logging ログバケットのログ保存料金」の課金が、2023年4月1日から開始されます。(当記事は2022年11月22日に執筆され、2023年2月27日に更新されました。) 概要と経緯 課金開始が2023年4月1日からに変更 何をすればいいのか 料金の確認 概要と経緯 Cloud Logging の ログバケット は Cloud Logging のログを保管するための独自ス
エリア面積計算の多面的アプローチ
2022/11/10
ブックマーク
こんにちは！ LuupのData Strategy部（Data Scienceチーム所属）の大島です。ここでは、LuupのData Scienceチームと、Luupのデータ分析の醍醐味である地理空間データを使ったポート密度に関する分析をご紹介します。 LuupのData Scienceチームの紹介 Luupの事業では、電動アシスト自転車や電動キックボードを停めるポートの獲得、アプリや車両などのプロダクトの設計・開発・運用、車
エリア面積計算の多面的アプローチ
2022/11/10
ブックマーク
こんにちは！ LuupのData Strategy部（Data Scienceチーム所属）の大島です。ここでは、LuupのData Scienceチームと、Luupのデータ分析の醍醐味である地理空間データを使ったポート密度に関する分析をご紹介します。 LuupのData Scienceチームの紹介 Luupの事業では、電動アシスト自転車や電動キックボードを停めるポートの獲得、アプリや車両などのプロダクトの設計・開発・運用、車
[DevOpsプラットフォームの取り組み #8] Qmonus Value Streamを支えるアーキテクチャの紹介
2022/11/10
ブックマーク
DevOpsプラットフォームの取り組みを紹介する8回目の記事です。 Qmonus Value Stream 開発チームの浅井です。 連載第8回では、Qmonus Value Streamのアーキテクチャとその技術スタックについて紹介します。 これまでの連載ではQmonus Value Streamで利用している技術要素として、 第4回 ではデータ記述言語であるCUE言語を、 第5回 ではKubernetes Nativeなオープンソースフレームワークである
未経験からSQLを学ぶ上で知っておくべき勉強法をまとめてみた
2022/11/09
ブックマーク
こんにちは。新卒2年目のRYOBALです。 入社後1年間サーバーサイドエンジニアとして業務を行い、その後プロモーション部でSHOPLIST内のデータ分析や施策提案などを行っています。今でもBigQueryで SQL を使ったデータ分析を日々行っています。 今では SQL を使った分析は欠かせないスキルで今後も業務で成果を出すために欠かせないスキルだと考えています。 今後、エンジニ
PythonでGoogle Calendar APIを呼び出す方法
2022/11/07
ブックマーク
G-gen の杉村です。 Cloud Functions で動作する Python プログラムから Google Calendar API を呼び出す方法をご紹介します。 検証内容 プログラムの内容 Google API への認証 検証の流れ Google Calendar API 有効化 サービスアカウント作成・設定 サービスアカウント作成 サービスアカウントへ IAM 権限付与 コマンドライン ソースコードの解説 ソースコード パッケージのインポート 認証情報
BigQueryによる最大内積検索の実装
2022/11/04
ブックマーク
はじめに 機械学習エンジニアの本田志温です。最近担当した類似アイテム推薦の案件で、BigQueryを使って最大内積検索（M
BigQueryにエクスポートしたGoogle アナリティクス 4 (GA4) のデータの型について気を付けたいこと
2022/10/31
ブックマーク
本記事は GA4 Week 3日目の記事です。 📈 2日目 ▶▶ 本記事 ▶▶ 4日目 🔍 はじめまして、GA4 Week 3日目を担当します荒川と申します。 普段はGoogle アナリティクス（GA）の導入やGAデータ活用支援などを行っております。 はじめに BigQuery にエクスポートされるデータの構造 データの構造について イベントパラメータのデータ型について 同一keyのイベントパラメータに複数の