「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全390件中 211 - 225件目
Professional Cloud Database Engineer試験対策マニュアル
2022/08/30
ブックマーク
G-genの杉村です。Google Cloud (旧称 GCP) の認定資格である Professional Cloud Database Engineer 資格の試験対策に有用な情報を記載します。 基本的な情報 Professional Cloud Database Engineer とは 難易度 出題傾向 試験対策 Cloud SQL 基本的な知識 接続と認証・認可 高可用性とレプリカ 高可用性構成 (HA 構成) フェイルオーバー HA 構成への変更 リードレプリカ バックアップ・リストア モニタリ
IoT Connect GatewayのSDP開発に迫る
2022/08/29
ブックマーク
目次 はじめに SDP開発とは SDP開発とは SSS/SDPフレームワーク ICGW-SDP基盤 全体構成 CI/CD ICGWの可視化 APIリクエスト数 リソース利用状況 おわりに はじめに こんにちは、5G & IoT部/IoTサービス部門のIoT Connect Gateway (ICGW)サービス開発チームの岩田です。 我々のチームでは2021年度下期に私の主導のもと、ICGWのSDP開発というものを行い、 Smart Data Platform (SDPF)ポータル対応 および
BigQueryでのデータ追記処理における冪等化の取り組み
2022/08/16
ブックマーク
こんにちは、MA基盤チームの田島です。私達のチームではMAIL、LINE、PUSH通知といったユーザへの配信をしています。その中でもマス・セグメント配信という一斉に行う配信では、配信対象者のセグメント抽出にBigQueryを利用しています。また、配信前に必要なデータをBigQueryに連携しデータマートの集計をしたり、配信後には配信実績の登録などの更新処理をしています。
エンジニアから見たLookerとSisenseそれぞれの強み
2022/08/10
ブックマーク
挨拶 こんにちは。 BALES CLOUD エンジニアの井上（エース）です。 BALES CLOUDは最近アナリティクス機能をリリースしました。この機能は、ユーザーのこれまでのコールやメールのデータをユーザーの好きな形で分析できるものです。 トップページの機能一覧の右上に表示されています。 この機能は Sisense の埋め込み機能を利用しています。SisenseはLookerやTableauのようなBIツー
Vertex AI を徹底解説！
2022/08/09
ブックマーク
G-gen の佐々木です。当記事では Google Cloud (旧称 GCP) の統合された機械学習プラットフォームである Vertex AI を解説します。 Vertex AI とは AutoMLとは Vertex AI における AutoML AutoML を使用したモデル作成 AutoML によるトレーニングの料金 カスタムトレーニング カスタムトレーニングを使用したモデル作成 カスタムトレーニングの料金 トレーニング方法の選択 モデル作成、予測に
冪等性を担保したGoogle Cloud Composerの設計と実装
2022/08/01
ブックマーク
こんにちは！ 2022年2月からLuupにデータエンジニアとしてジョインした河野(@matako1124) です！ 元々マイクロモビリティに興味があり、データ基盤もこれからきっちり作っていきたいという0からのフェーズで、お声がけをいただけたことに感謝です。 現在、Luupのデータチームの構成は、Data Strategy部の中にData EngineeringチームとData Scienceチームの２つがある形となっています
冪等性を担保したGoogle Cloud Composerの設計と実装
2022/08/01
ブックマーク
こんにちは！ 2022年2月からLuupにデータエンジニアとしてジョインした河野(@matako1124) です！ 元々マイクロモビリティに興味があり、データ基盤もこれからきっちり作っていきたいという0からのフェーズで、お声がけをいただけたことに感謝です。 現在、Luupのデータチームの構成は、Data Strategy部の中にData EngineeringチームとData Scienceチームの２つがある形となっています
Looker Extension Frameworkでアプリケーションを作成してみた
2022/07/11
ブックマーク
こんにちは。ISID CIT事業部の熊倉です。 昨年7月、 Google が提供しているBIツール「Looker」でExtension Frameworkという新しい機能が追加されました。 今回の記事ではExtension Frameworkの開発方法について検証する目的で作成したアプリケーションについて紹介していきます。 本記事がExtension Frameworkの開発イメージやメリットについての理解の手助けになれば幸いです。 1. Lookerとは
GCPで意図せぬ課金を防ぐためのtips
2022/07/08
ブックマーク
はじめに こんにちは。人材領域でレコメンドシステムの機能開発をしている羽鳥です。 突然ですがクイズです。500GBのGoog
機械学習初心者がVertex AIでモデルを構築してみた（AutoML）
2022/07/07
ブックマーク
G-gen の佐々木です。今回は Google Cloud (旧称 GCP) の機械学習サービスである Vertex AI で、表形式データを用いた予測モデルの作成を試してみました。 私は機械学習についてはまだまだ勉強を始めたばかりなのですが、 Google の助けを借りて、高精度なモデル作りに挑戦してみようと思います。 Vertex AIとは AutoML モデル構築に使用するデータ 前処理 モデルのトレーニング 予測
Cloud Workflowsで簡易的なデータパイプラインを構築してみる
2022/07/04
ブックマーク
G-gen の杉村です。 Google Cloud (旧称 GCP) には Cloud Workflows という簡易的なワークフローツールがあります。今回の記事は Cloud Workflows を使った簡易的なデータパイプラインの構築方法をご紹介します。 はじめに Cloud Workflows とは 関連記事 この記事で作るもの 概要 SQL 実行方法 1 - BigQuery API Connector SQL 実行方法 2 - Scheduled Query Scheduled Query の呼び出し方 ワークフローの作成 フロ
Connected Sheets で始めるデータ分析
2022/06/29
ブックマーク
こんにちは、6月にG-gen にJoinした又吉です。 今回は、 Google Workspace の全エディションにおいて無償で利用可能な Connected Sheets をご紹介します。 はじめに Connected Sheets とは 前提条件 料金 アクセス制御 セットアップ 操作方法 概要 グラフ ピボットテーブル 関数 データの抽出 計算された列 列の統計情報 データの更新 実践 はじめに Connected Sheets とは Connected Sheets とは、Goog
Luup Developers Blog を開設します！
2022/06/27
ブックマーク
はじめまして、株式会社Luup CTO の岡田(@7omich)です。 先日、ローンチより2周年を迎えた LUUP の技術的取り組み・ノウハウ等について継続的な発信をするべく、Zenn を利用して Developers Blog を開設することにしました。 最初の記事として、まずは本ブログの方向性や技術組織の現状について書きたいと思います。 LUUP について LUUP は、電動キックボードや電動アシスト自転車
GoogleのBIツール、LookerとLooker Studioを比較してみた
2022/06/21
ブックマーク
こんにちは、G-genの開原です。当記事では Google Cloud が提供する Looker と Looker Studio (旧称データポータル) という2つのデータ可視化サービスの特徴についてご紹介した上で、選定のポイントを解説します。 Looker とは？ Looker Studio とは？ データ分析における課題 Looker の特徴 データのアップロード不要 LookML によるデータの一元管理 豊富な業務連携 Looker Studio の特徴 無料で
ZOZOTOWNホーム画面におけるパーソナライズの取り組み
2022/06/20
ブックマーク
はじめに こんにちは、ML・データ部推薦基盤ブロックの寺崎（ @f6wbl6 ）と佐藤（ @rayuron ）です。 ZOZOTOWNのホーム画面は2021年3月にリニューアルされ、「モジュール」と呼ばれる単位で商品が表示されるようになりました。 本記事ではユーザーごとにパーソナライズされたモジュール（以降、パーソナライズモジュール）のロジックやシステム構成、および導入時に実施し