「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 436 - 450件目
データ分析の健全性を保つために行っている機械的データチェック（Pandera）の話
2022/12/22
ブックマーク
この記事は、Luup Advent Calendar の 22日目の記事です。 こんにちは、Data Scienceチームの長谷川（@chase0213）です。 Data Scienceチームでは、社内の様々な部署からデータ分析に関する依頼を受けたり、自ら課題を見つけ仮説検証したりして、単純な集計から複雑なモデリングまでデータにまつわることを幅広く行っています。 分析用のデータは基本的にデータウェアハウス（BigQuer
データ分析の健全性を保つために行っている機械的データチェック（Pandera）の話
2022/12/22
ブックマーク
この記事は、Luup Advent Calendar の 22日目の記事です。 こんにちは、Data Scienceチームの長谷川（@chase0213）です。 Data Scienceチームでは、社内の様々な部署からデータ分析に関する依頼を受けたり、自ら課題を見つけ仮説検証したりして、単純な集計から複雑なモデリングまでデータにまつわることを幅広く行っています。 分析用のデータは基本的にデータウェアハウス（BigQuer
Google Cloudの根幹を成すGoogle Cloud APIsとは何か
2022/12/21
ブックマーク
G-gen の杉村です。Google Cloud は Google Cloud APIs と呼ばれる Web API 群によって成り立っています。仕組みを理解すると、Google Cloud というパブリッククラウドサービス全体への理解が深まります。 Google Cloud APIs とは API 設計 設計ガイド リソース指向 API エンドポイント インターフェイス 概要 Cloud SDK Web コンソール 認証・認可 アカウントと IAM リクエストへの署名 プロジェクト
データ基盤の処理最適化によるBigQueryコスト削減
2022/12/21
ブックマーク
こんにちは。データエンジニアの谷元です。 この記事は Enigmo Advent Calendar 2022 の21日目の記事です。 目次 はじめに どうしてデータ基盤を最適化する必要があるの？ どうしたら改善できるの？ 現状のデータ基盤のおさらい 主要なBUYMA基幹データの最新ビューに着目してみる 最新ビューをどう変更するの？ システム概要としてはどんな感じ？ この方針で思ったこと BQ履歴
分散データベース・NewSQLのCloud Spannerの特徴を簡単に紹介
2022/12/18
ブックマーク
本記事はCyberAgent Advent Calendar 2022 18日目の記事です。 AI事 ...
sGTMを試してみた【後編】
2022/12/17
ブックマーク
こんにちは、データアナリストの左海です。 昨日16日 に引き続き、 mediba Advent カレンダー 17日目は私からサーバーサイドGTM(以下sGTM)を試してみたお話の続きとなります。 前編でsGTMの導入が完了したので、後編ではSafariのITP制限がGoogle Analytics4(以下GA4)のログにどう影響しているのか観察していきます。 SafariのITP制限によるGA4ログへの影響とsGTM まずは、前編の重要な部分
Environmentsを用いたGitHub ActionsからCloud Functionsへのデプロイ
2022/12/16
ブックマーク
この記事は、 NTT Communications Advent Calendar 2022 16日目の記事です。 はじめに こんにちは、イノベーションセンター テクノロジー部門の池田です。 普段は SkyWay というプラットフォームを開発しています。 この記事では、GitHub ActionsからGoogle Cloud Platform(以下GCP)のCloud FunctionsにPipenvを利用したPythonアプリケーションをデプロイした際の話をGitHubのEnvironmentsなどに触れつつ紹介
セッショナイズで機械学習モデルの精度を改善した話
2022/12/16
ブックマーク
こんにちは、データサイエンティストの堀部です。 この記事は Enigmo Advent Calendar 2022 の16日目の記事です。 普段の業務では情報検索(検索/レコメンド)、不正検知、ユーザー属性の推定などを BUYMA にプロダクトとして組み込むことを行っています。その中でも モデリング 以前のタスク設計や探索的データ分析( EDA : Explanatory Data Analysis)、データのクレンジング・前処理、特
Google Cloud社主催「第一回 Digital Native Leaders Meetup」に参加しました
2022/12/13
ブックマーク
こんにちは！ 株式会社ココナラのシステムプラットフォーム部でプロダクトインフラと社内情報システムを担当している ゆーた と申します。 4回目のブログ投稿になりますが、今回はイベント参加レポートです。 12/1（木）にGoogle Cloud社主催の「第一回 Digital Native Leaders Meetup」に参加してきましたので、その内容をかいつまんでご紹介します。 Google Cloud社の渋谷オフィス
データカタログにNotionを選択した理由
2022/12/09
ブックマーク
この記事は、Luup Advent Calendarの9日目の記事です。 こんにちは。Data Engineeringチームの河野(@matako1124) です！ 最近データカタログを導入したのですが、ツールの選定方法と実装方法についてご紹介したいと思います。結論から言うと、Luupでは社内ドキュメントとしてNotionをどの部署も使用しているため、Notionをデータカタログとして使おうという選択にしました。 注意 執筆
データカタログにNotionを選択した理由
2022/12/09
ブックマーク
この記事は、Luup Advent Calendarの9日目の記事です。 こんにちは。Data Engineeringチームの河野(@matako1124) です！ 最近データカタログを導入したのですが、ツールの選定方法と実装方法についてご紹介したいと思います。結論から言うと、Luupでは社内ドキュメントとしてNotionをどの部署も使用しているため、Notionをデータカタログとして使おうという選択にしました。 注意 執筆
データサイエンティストの皆さん不安よな。MLOps動きます。
2022/12/08
ブックマーク
はじめに こんにちは、テクノロジー戦略室の新城です。私は2022年6月に中途入社し、入社してまだ半年ですがMLOpsの推進という仕事を担当しています。 現在レバレジーズでは レバテックダイレクト の求人マッチ度判定のような、レコメンドシステムを多くのサービスで活用しています。 一方で機械学習モデルを本番運用したはいいが、データサイエンティストがモデル
VPC Service Controls の IP アドレス制限と Looker Studio
2022/12/08
ブックマーク
G-gen の藤岡です。当記事では、Google Cloud（旧称 GCP）の BigQuery に特定の IP アドレスからのアクセスのみを許可する VPC Service Controls を設定しつつ、Looker Studio には IP アドレスの制限をかけずレポートを閲覧できるようにする方法を紹介します。 サービス・機能の概要 VPC Service Controls Looker Studio サービスアカウントの権限借用 VPC Service Controls と Looker Studio 実施内容 構成図 事
AWS環境でSREがREDメソッドを実践するための仕組み
2022/12/06
ブックマーク
こんにちは。 株式会社ココナラで技術戦略室を担当しているKと申します。 今日は、AWS環境でココナラのSREが実践しているREDメソッドについてお話ししたいと思います。 そもそもREDメソッドってなに？ よくREDメソッドと同時に語られる別の方法論として、USEメソッドがあります。 それぞれ以下のように目的が異なっています。 USEメソッド USEメソッドは、CPUやメモリなど
SORACOM API の定期取得を GCP で作った Node-RED で取得する Tips
2022/12/06
ブックマーク
こんにちは IoT チームの田中です。 この記事は Luup Advent Calendar の 6 日目の記事です。 LUUP 車両の通信は SORACOM SIM を利用していて、SORACOM API を使って通信状況や稼働状況などを30分程度の間隔で定期的に記録するようにしています。 どのようにデータを記録して、そのデータをどう活用するかは、まだまだ試行錯誤の段階のため、プロトタイピングしやすいように Node-RED