「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 406 - 420件目
Cloud Spannerの「細かいアクセス制御」とは
2023/04/11
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の森です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調
BigQuery Editionsを徹底解説
2023/03/30
ブックマーク
G-genの杉村です。Google Cloud（旧称 GCP）のフルマネージドなデータウェアハウスサービスである BigQuery の料金体系である BigQuery Editions について解説します。 概要 BigQuery の課金体系 BigQuery Editions とは 過去の経緯 3つのエディション 概要 クエリがプロジェクトをまたぐ場合 BigQuery Autoscaler BigQuery Autoscaler とは Baseline と Max コミットメント いつ Editions を使うべきか オンデマ
Cloud Workflowsを徹底解説
2023/03/27
ブックマーク
G-genの杉村です。Google Cloud (旧称 GCP) のジョブ自動化サービスである Cloud Workflows （または単に Workflows）を解説します。 概要 Cloud Workflows とは ユースケース 料金 課金の仕組み 内部ステップと外部ステップ ワークフロー定義 定義の基本 ランタイム引数 サービス呼び出し エラー処理 待機 コールバック スリープ ワークフローの実行 実行契機 (トリガ) Cloud Scheduler による定
Google Cloudを活用したデータマネジメントの支援
2023/03/27
ブックマーク
テクノロジー本部の yoshikawa です。 普段の業務では全社データ基盤の開発や技術検証、ビジネスサイドのデータ活用支援を行っています。 本記事では、Google CloudのDataplex(主にData CatalogとData Lineage)を活用したデータマネジメント及びその支援に関する事例を紹介します。 また関連して、データ開発の質とスピードを高めるべくCloud Composerとdbt(dbt Core)を採用し、DWH(データウ
Vertex AI WorkbenchとBigQuery MLで機械学習モデル(クラスタリング)を構築してみた
2023/03/20
ブックマーク
G-gen 又吉です。今回は Vertex AI Workbench を用いて JupyterLab の開発環境から BigQuery ML を実行し機械学習モデル(クラスタリング)を作成していきたいと思います。 概要 概要 今回使用するデータ K-means 法とは 準備 Vertex AI Workbench の作成 BigQuery データセットとテーブルの作成 JupyterLab 起動 実行 データの確認 ハイパーパラメータチューニング ハイパーパラメータチューニング機
Cloud Scheduler を徹底解説！
2023/03/14
ブックマーク
当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 当社では業務系システムを開発する機会が多く、定期的に実行する処理が多くあります。慣れ親しんだCron式でジョブの実行定義ができる Cloud Scheduler は利用機会も多く、優先的に仕様を調査することにしました。 G-gen の佐々木です。当記事では Google Cloud (旧称
BigQuery MLで機械学習モデル(分類)を構築してみた
2023/03/13
ブックマーク
G-gen 又吉です。今回は BigQuery に備わる機械学習機能である BigQuery ML で、2 項ロジスティック回帰を用いた分類モデルを作成してみました。 BigQuery ML とは サポートされているモデル 今回使用するデータ 準備 各種ファイルのアップロード データセットの作成 テーブルの作成 テーブルにデータをロード データの確認 モデルの作成 データの前処理を行います。 モデル構築
機械学習APIを用いた図面解析ETL基盤
2023/03/01
ブックマーク
はじめに こんにちは、キャディAILab MLOpsエンジニアの廣岡です。MLOpsエンジニアの業務では、機械学習エンジニア（MLE）の開発したモデルのデプロイ面の協働や、それらを含む機械学習基盤の開発・運用などを担当しています。最近は特にモデルデプロイに伴うチェック内容の自動化や、各ライブラリのアップデートを安全に実施するためのCI/CDの整備などに取り組んでい
LIFULL主催の技術勉強会 Ltech 『#23 LIFULLにおけるSalesforce活用事例について語ります』開催レポート
2023/02/28
ブックマーク
こんにちは！LIFULLのエンジニアで、Ltech運営チームの河西です！今回は 2023年2月21日（火）に開催した『Ltech#23 LIFULLにおけるSalesforce活用事例について語ります』についてレポートします。 Ltechとは 株式会社LIFULL主催の、技術（エンジニアリング・テクノロジー）をテーマにしたイベントの総称です。 特定の技術に偏らず、様々な技術をピックアップしていきます。 Session1
『システム運用アンチパターン』で輪読会を通して知見共有ができた話
2023/02/24
ブックマーク
プロダクトエンジニアリング部の二宮です。 我々のプロダクトエンジニアリング部では「強い個人・最高のチームになることで価値創造を加速させ続ける」というビジョンを掲げています。そして、その「強い個人」を目指して、週に数時間程度、普段できないチャレンジングな技術の探索など、ある程度自由に時間を使うことが推奨されています。 その一つのやり方と
推薦システムの実績をLookerでモニタリングする
2023/02/24
ブックマーク
はじめに こんにちは。ML・データ部/推薦基盤ブロックの佐藤（ @rayuron ）です。私たちは、ZOZOTOWNのパーソナライズを実現する機械学習を用いた推薦システムを開発・運用しています。また、推薦システムの実績を定常的に確認するためのシステムも開発しています。本記事では、Lookerを用いて推薦システムの実績をモニタリングするシステムの改善に取り組んだ件につい
AppSheet のはじめ方
2023/02/22
ブックマーク
G-gen の藤岡です。当記事では、 Google Cloud（旧称 GCP）のノーコードツールである Google AppSheet（以下 AppSheet）の概要からはじめ方について紹介します。 概要 AppSheet とは データソース ４つのプラン AppSheet と Google Workspace 注意点 ユースケース はじめ方 概要 AppSheet とは AppSheet は、プログラミングの知識のない人や開発経験のない人でもマウス操作のみで簡単にアプリケーシ
ZOZOFITアプリにおけるGoogle Analytics 4導入の取り組み
2023/02/15
ブックマーク
はじめに こんにちは。計測プラットフォーム開発本部 計測プロデュース部の井上です。 私たちは ZOZOFIT 、 ZOZOMAT 、 ZOZOMAT for Hands や ZOZOGLASS などの計測技術に関わるプロダクトのサービス開発をしています。先日ローンチしたZOZOFITではGoogle Analytics 4(以下、GA4)を導入しました。本記事ではGA4を導入する際に工夫した点と注意点について紹介します。 目次 はじめに 目次 計
Looker Studio + BigQuery でコストを最適化する方法
2023/02/15
ブックマーク
G-gen の神谷です。本記事では、Looker Studio で BigQuery データソースを使う際のコスト最適化について説明します。 はじめに Looker Studio とは 料金体系 BigQuery コストを調べる 料金削減の基本方針 Looker Studio のキャッシュ機能 コンポーネントキャッシュ（造語） 抽出されたデータソース BigQuery のキャッシュ機能 BigQuery のストレージキャッシュ マテリアライズドビュー BI Engine
Google Cloudの監査ログの長期保管とアクセス監査を考える
2023/02/14
ブックマーク
当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ&テクノロジーズ株式会社の舘山と申します。 本日は、Google Cloudの監査ログの長期保管とアクセス監査について、調査した内容を共有します。 参考資料として、Google Cloudのログ取得サービス、監査ログの全体像は下記のブログ、Google Cloudドキ