「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 451 - 465件目
SORACOM API の定期取得を GCP で作った Node-RED で取得する Tips
2022/12/06
ブックマーク
こんにちは IoT チームの田中です。 この記事は Luup Advent Calendar の 6 日目の記事です。 LUUP 車両の通信は SORACOM SIM を利用していて、SORACOM API を使って通信状況や稼働状況などを30分程度の間隔で定期的に記録するようにしています。 どのようにデータを記録して、そのデータをどう活用するかは、まだまだ試行錯誤の段階のため、プロトタイピングしやすいように Node-RED
BigQueryでのデータ分析にARRAYを活用する
2022/12/05
ブックマーク
こんにちは。 株式会社ココナラのR&Dグループ/検索・推薦グロースチーム所属のエンジニア、Unseoと申します。 本記事では、BigQuery上でのデータ分析にARRAYを活用した分析手法をご紹介いたします。 検索システムのログ分析をテーマに進めていきますが、広告やレコメンドエンジンなど、その他ログの分析にも応用できるテクニックかと思いますので、 普段の分析をも
BigQuery上の地理情報を可視化する方法 3選
2022/12/05
ブックマーク
こんにちは。Insight Edge引越し好き(?)Data Scientistの中野です。 最近は1年半のペースで引越してるので、免許書の住所記入欄が足りなくなり付箋のようなものに住所を記入しています！ 新しいエリアに引っ越す時は近隣のカフェや本屋情報を調査しているのですが毎回イマイチ綺麗に可視化できないので、 今回は地理情報データを可視化できるツールの比較や、その際のち
LookerStudioでGA4のデータを表示する
2022/12/02
ブックマーク
この記事では、これまでにLooker Studio（データポータル）で従来のGA（ユニバーサルアナリティクス）を利用していた方向けに、最新のGA（Google Analytics 4）のデータをLooker Studioで表示する方法について紹介します。 Looker Studioとは？データポータルとの違いは？ Looker Studioは、Googleが無料で提供しているBI（ビジネスインテリジェンス）ツールで、あらゆるデータを可視化で
アジリティを保ってデータ基盤を作る取り組み
2022/12/02
ブックマーク
はじめに この記事は BASE Advent Calendar 2022 と Looker Advent Calender 2022 2日目の記事です。 こんにちは。BASE 株式会社 New Division BASE BANK Section にて、Engineering Program Manager (以下EPM) 1 をしている永野( @glassmonekey ) です。 私達のBASE BANK Section チーム (以下 BANK チーム) はBASEの中でも、新規事業の金融系のプロダクトにフォーカスしたチームになります。特に新規事業なので、日々の不
BigQueryで再帰クエリを使いこなす
2022/11/28
ブックマーク
みなさんこんにちは、 電通国際情報サービス （ISID）コーポレート本部 システム推進部の佐藤太一です。 先日、TECHPLAYでDataflowに関連するお話をしました。 その日の模様が公開されていますので、ご興味のある方は是非ご覧ください。 techplay.jp さて、このエントリではBigQueryにおいて利用できる 再帰 クエリ（WITH RECURSIVE句とUNION ALL）について紹介します。 再帰 クエリを
BigQueryで再帰クエリを使いこなす
2022/11/28
ブックマーク
みなさんこんにちは、 電通国際情報サービス （ISID）コーポレート本部 システム推進部の佐藤太一です。 先日、TECHPLAYでDataflowに関連するお話をしました。 その日の模様が公開されていますので、ご興味のある方は是非ご覧ください。 techplay.jp さて、このエントリではBigQueryにおいて利用できる 再帰 クエリ（WITH RECURSIVE句とUNION ALL）について紹介します。 再帰 クエリを
BigQuery で月末日を簡単に取得できる LAST_DAY 関数の紹介
2022/11/25
ブックマーク
クラウドエースの小坂です。 データウェアハウス構築、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回はとても短い記事ですが、BigQuery で日付操作を行うにあたってとても便利な関数を教えてもらったので紹介させていただきます。 BigQuery に限らず日付の操作をするにあたって、月末日を取得する際に以下
Security Command Center でお手軽セキュリティ診断
2022/11/25
ブックマーク
はじめに みなさんこんにちは！クラウドエースの中嶋です。 今回は、Google Cloud のセキュリティ診断の強い味方 Security Command Center について紹介します。 Security Command Center の概要 Security Command Center(以降、SCC)は、Google Cloud 上で使用しているサービスの脆弱性や脅威となりうる設定を検知することができるサービスです。 検知された脆弱性や脅威は、Google Cloud のダッシュボ
Looker の Forecasting(予測) 機能を使ってみる
2022/11/22
ブックマーク
クラウドエースの小坂です。 データウェアハウス構築、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回は Looker の Forecasting(予測) 機能を使ってみたので、概要と使い方を紹介してみようと思います。 Looker の Explore の基本的な使用方法を把握している方向けの説明になりますので、 基本的な操作方法等の説
BigQueryのストレージ料金プランを変更して、年間数千万円を節約する
2022/11/22
ブックマーク
こんにちは、最近気になるニュースはサザエの学名が数年前に初めて命名されたこと 1 な、MLデータ部データ基盤ブロックの塩崎です。BigQueryのストレージに関する新料金プランが先日発表されたので、その検証をしました。我々の環境では年間で数千万円という費用削減を達成できることが分かりましたので、BigQueryに多くのデータを蓄積している会社は是非お試しくだ
Cloud Loggingログバケットの課金開始(2023年4月1日から)
2022/11/22
ブックマーク
G-gen の杉村です。これまで料金の掛かっていなかった「Cloud Logging ログバケットのログ保存料金」の課金が、2023年4月1日から開始されます。(当記事は2022年11月22日に執筆され、2023年2月27日に更新されました。) 概要と経緯 課金開始が2023年4月1日からに変更 何をすればいいのか 料金の確認 概要と経緯 Cloud Logging の ログバケット は Cloud Logging のログを保管するための独自ス
BigQuery上の機密情報の守り方
2022/11/21
ブックマーク
こんにちは。 クラウドエース SREエンジニアのアイルトンと申します。 Google Cloudのセキュリティについて勉強中なので、学んだことを定期的に記事にまとめていこうと思います。 この記事では、BigQueryに機密情報を保持する場合に、情報を安全に保護する方法についてまとめます。 BigQuery上にあるデータを秘匿化するには、以下の方法があります。 BigQuery関数を使った暗
エリア面積計算の多面的アプローチ
2022/11/10
ブックマーク
こんにちは！ LuupのData Strategy部（Data Scienceチーム所属）の大島です。ここでは、LuupのData Scienceチームと、Luupのデータ分析の醍醐味である地理空間データを使ったポート密度に関する分析をご紹介します。 LuupのData Scienceチームの紹介 Luupの事業では、電動アシスト自転車や電動キックボードを停めるポートの獲得、アプリや車両などのプロダクトの設計・開発・運用、車
エリア面積計算の多面的アプローチ
2022/11/10
ブックマーク
こんにちは！ LuupのData Strategy部（Data Scienceチーム所属）の大島です。ここでは、LuupのData Scienceチームと、Luupのデータ分析の醍醐味である地理空間データを使ったポート密度に関する分析をご紹介します。 LuupのData Scienceチームの紹介 Luupの事業では、電動アシスト自転車や電動キックボードを停めるポートの獲得、アプリや車両などのプロダクトの設計・開発・運用、車