「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全382件中 151 - 165件目
Cloud Composerにデータマート集計基盤を移行しました
2023/02/13
ブックマーク
こんにちは、MLデータ部データ基盤ブロックの奥山（ @pokoyakazan ）です。趣味の範疇ですが、「ぽこやかざん」という名前でラジオ投稿や大喜利の大会に出たり、「下町モルモット」というコンビで週末に漫才をしたりしています。私は普段、全社データ基盤の開発・運用を担当しており、このデータ基盤はGCPのBigQuery上に構築されています。そして、データ基盤内の各テ
VertexAIを利用した機械学習モデルにおける評価・分析パイプラインの構築
2023/02/10
ブックマーク
自己紹介 はじめまして、京都大学大学院エネルギー科学研究科に所属していますM1の下野祐太です。普段は、深層強化学習を利用し
Google Cloud Professional Machine Learning Engineer 合格体験記
2023/02/08
ブックマーク
こんにちは、タイミーのデータ統括部でデータサイエンティストをしている小関です。 タイミーのデータサイエンスチームでは、データ分析、 機械学習 モデル構築に加えて、 Google Cloudを主軸としたMLOps基盤の構築などの業務に日々取り組んでいます。 その中でも Google Cloudを主軸としたMLOps基盤の構築に関連して、 Google Cloud Professional Machine Learning Engineer認定資格 を社内
分間10万リクエストを捌く、メール/プッシュ通知 大量配信AWSアーキテクチャ
2023/02/02
ブックマーク
こんにちは。 株式会社ココナラで技術戦略室を担当しているKと申します。 本記事では、ココナラで使用しているメール/プッシュ通知の配信基盤についてお話ししたいと思います。 この基盤は2年ほど前に構築したものです。 今回記事に取り上げたのは、今後AWSにコストを抑えた上で高速に処理する仕組みを構築する際の参考になるかもしれないと思ったためです。 本記
機械学習初心者がVertex AI AutoMLで年収予測してみた(前編)
2023/02/01
ブックマーク
G-genの佐伯です。当記事では、Vertex AIのAutoML及びバッチ予測の基本的な操作方法を解説しながら、簡易的で且つ安価に予測データを収集できる手法を解説できればと考えます。前編では、Vertex AIのAutoML及びバッチ予測の基本的な操作方法を解説させていただきます。 Vertex AI AutoML とは 当記事で行う検証作業 検証作業内容 今回のトレーニングデータについて データの前処
初学者向けにBigQueryを解説
2023/01/31
ブックマーク
当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ＆テクノロジーズ株式会社の藤根です。この度、G-gen さんとのコラボを通じて、弊社エンジニアによる Google Cloud の記事を執筆する機会をいただきました。 本記事では、Google Cloud が誇る BigQuery について、初学者を対象にご紹介させていただきま
Google Cloudを活用したキャリア事業のデータ分析基盤
2023/01/24
ブックマーク
はじめに エス・エム・エス BPR推進部カスタマーデータGrで、「 ナース人材バンク 」等のキャリア事業を中心に、社内のデータ活用の推進、データ基盤の開発を担当しています、橘と申します。 私達カスタマーデータGrでは、Google CloudのBigQueryを中心としたデータ基盤を構築しており、社員がデータを利用して意思決定をする業務をサポートする役割を担っています。本記
Elasticsearch社にElastic Cloud Workshopを開催いただきました
2023/01/24
ブックマーク
こんにちは！ 株式会社ココナラのシステムプラットフォーム部インフラ・SREチームに所属しているかたぎりと申します。 本記事では2023年1月に参加したElastic Cloud Workshopについて紹介します。 背景 ココナラではElastic Cloudを利用しています。主に検索関連のプラットフォームとして使っていますが、今後はオブザーバビリティを強化していきたいと考えています。 いくつ
BigQuery のコスト削減方法まとめ
2023/01/18
ブックマーク
G-gen の神谷です。本記事では Google Cloud (旧称 GCP) の BigQuery のコスト削減の方法をまとめます。 はじめに コスト削減の手法 BigQuery の料金体系 どこに料金がかかっているか調べる 調査ポイント 調査方法 テクニック SELECT * を使わず必要なカラムのみクエリする パーティションやクラスタリングを使う 不要なバックアップテーブルを削除 ストリーミングインサートを使わ
Elasticsearchの更新をGoogle Cloud DataflowとBigQuery+SQLで実現したい
2022/12/26
ブックマーク
はじめまして。 株式会社ココナラ R&Dグループ MLデータ基盤チームの北郷と申します。 MLデータ基盤チームではココナラにおける検索周りの機能拡張や運用を行なっています。 今回の記事は、現在導入を進めているGoogle CloudのDataflowについてです。 本記事は、2022/12/16時点で検証を行なっております。 GCP側の仕様変更により手順などが変わる可能性がある旨ご承知おき
Google AppSheet 触ってみた 2022冬
2022/12/23
ブックマーク
この記事は Enigmo Advent Calendar 2022 の23日目の記事です。 こんにちは、 エニグモ 嘉松です。 データ活用推進室というチームでリーダーをさせていただいています。 チームにはデータアナリスト３名、社内の業務システムを開発するGASエンジニア１名、そして私の計５名が所属しています。 目次 目次 エニグモを取り巻くIT環境 AppSheetとは AppSheetによるアプリの開発 AppSheet開
データ分析の健全性を保つために行っている機械的データチェック（Pandera）の話
2022/12/22
ブックマーク
この記事は、Luup Advent Calendar の 22日目の記事です。 こんにちは、Data Scienceチームの長谷川（@chase0213）です。 Data Scienceチームでは、社内の様々な部署からデータ分析に関する依頼を受けたり、自ら課題を見つけ仮説検証したりして、単純な集計から複雑なモデリングまでデータにまつわることを幅広く行っています。 分析用のデータは基本的にデータウェアハウス（BigQuer
データ分析の健全性を保つために行っている機械的データチェック（Pandera）の話
2022/12/22
ブックマーク
この記事は、Luup Advent Calendar の 22日目の記事です。 こんにちは、Data Scienceチームの長谷川（@chase0213）です。 Data Scienceチームでは、社内の様々な部署からデータ分析に関する依頼を受けたり、自ら課題を見つけ仮説検証したりして、単純な集計から複雑なモデリングまでデータにまつわることを幅広く行っています。 分析用のデータは基本的にデータウェアハウス（BigQuer
Google Cloudの根幹を成すGoogle Cloud APIsとは何か
2022/12/21
ブックマーク
G-gen の杉村です。Google Cloud は Google Cloud APIs と呼ばれる Web API 群によって成り立っています。仕組みを理解すると、Google Cloud というパブリッククラウドサービス全体への理解が深まります。 Google Cloud APIs とは API 設計 設計ガイド リソース指向 API エンドポイント インターフェイス 概要 Cloud SDK Web コンソール 認証・認可 アカウントと IAM リクエストへの署名 プロジェクト
データ基盤の処理最適化によるBigQueryコスト削減
2022/12/21
ブックマーク
こんにちは。データエンジニアの谷元です。 この記事は Enigmo Advent Calendar 2022 の21日目の記事です。 目次 はじめに どうしてデータ基盤を最適化する必要があるの？ どうしたら改善できるの？ 現状のデータ基盤のおさらい 主要なBUYMA基幹データの最新ビューに着目してみる 最新ビューをどう変更するの？ システム概要としてはどんな感じ？ この方針で思ったこと BQ履歴