G-gen の神谷です。本記事では Google Cloud (旧称 GCP) の BigQuery のコスト削減の方法をまとめます。 はじめに コスト削減の手法 BigQuery の料金体系 どこに料金がかかっているか調べる 調査ポイント 調査方法 テクニック SELECT * を使わず必要なカラムのみクエリする パーティションやクラスタリングを使う 不要なバックアップテーブルを削除 ストリーミングインサートを使わない BI ダッシュボードからビューを呼び出さない BigQuery BI Engine

はじめまして。 株式会社ココナラ R&Dグループ MLデータ基盤チームの北郷と申します。 MLデータ基盤チームではココナラにおける検索周りの機能拡張や運用を行なっています。 今回の記事は、現在導入を進めているGoogle CloudのDataflowについてです。 本記事は、2022/12/16時点で検証を行なっております。 GCP側の仕様変更により手順などが変わる可能性がある旨ご承知おきください。 Google Cloud Dataflowについて Google Cloudのサービスの一つで、E

この記事は Enigmo Advent Calendar 2022 の23日目の記事です。 こんにちは、 エニグモ 嘉松です。 データ活用推進室というチームでリーダーをさせていただいています。 チームにはデータアナリスト３名、社内の業務システムを開発するGASエンジニア１名、そして私の計５名が所属しています。 目次 目次 エニグモを取り巻くIT環境 AppSheetとは AppSheetによるアプリの開発 AppSheet開発のフロー 1. データを用意 2. データを取り込み 3. アプリを作成 4.

クラウドエースでデータ ML エンジニアをやっている篠田です。 2022 年 4 月 6 日に Google Cloud が提供しているVertex AI Workbenchが一般公開(GA)になりました。 本記事では、Vertex AI WorkbenchマネージドノートブックのJupyterLab UIから、どのような使用感でBigQueryへアクセスできるのかを紹介します。 Workbenchとは データサイエンスワークフロー全体に特化したJupyterノートブックベースのフルマネージド開発環境です

この記事は、Luup Advent Calendar の 22日目の記事です。 こんにちは、Data Scienceチームの長谷川（@chase0213）です。 Data Scienceチームでは、社内の様々な部署からデータ分析に関する依頼を受けたり、自ら課題を見つけ仮説検証したりして、単純な集計から複雑なモデリングまでデータにまつわることを幅広く行っています。 分析用のデータは基本的にデータウェアハウス（BigQuery）に格納されており（参考: 冪等性を担保したGoogle Cloud Compose

この記事は、Luup Advent Calendar の 22日目の記事です。 こんにちは、Data Scienceチームの長谷川（@chase0213）です。 Data Scienceチームでは、社内の様々な部署からデータ分析に関する依頼を受けたり、自ら課題を見つけ仮説検証したりして、単純な集計から複雑なモデリングまでデータにまつわることを幅広く行っています。 分析用のデータは基本的にデータウェアハウス（BigQuery）に格納されており（参考: 冪等性を担保したGoogle Cloud Compose

G-gen の杉村です。Google Cloud は Google Cloud APIs と呼ばれる Web API 群によって成り立っています。この仕組みを理解すると、Google Cloud というパブリッククラウドサービス全体への理解が深まります。 Google Cloud APIs とは API 設計 設計ガイド リソース指向 API エンドポイント インターフェイス 概要 Cloud SDK Web コンソール 認証・認可 アカウントと IAM リクエストへの署名 プロジェクトと API の有効

こんにちは。データエンジニアの谷元です。 この記事は Enigmo Advent Calendar 2022 の21日目の記事です。 目次 はじめに どうしてデータ基盤を最適化する必要があるの？ どうしたら改善できるの？ 現状のデータ基盤のおさらい 主要なBUYMA基幹データの最新ビューに着目してみる 最新ビューをどう変更するの？ システム概要としてはどんな感じ？ この方針で思ったこと BQ履歴テーブルの作成方針だけど 本当にその方法で改善するの？ 運用保守する上で気になっていたこと 見込み効果はどうなの

本記事はCyberAgent Advent Calendar 2022 18日目の記事です。 AI事 ...

こんにちは、データアナリストの左海です。 昨日16日 に引き続き、 mediba Advent カレンダー 17日目は私からサーバーサイドGTM(以下sGTM)を試してみたお話の続きとなります。 前編でsGTMの導入が完了したので、後編ではSafariのITP制限がGoogle Analytics4(以下GA4)のログにどう影響しているのか観察していきます。 SafariのITP制限によるGA4ログへの影響とsGTM まずは、前編の重要な部分を簡単に振り返ります。 SafariのITP制限は主にCooki

この記事は、 NTT Communications Advent Calendar 2022 16日目の記事です。 はじめに こんにちは、イノベーションセンター テクノロジー部門の池田です。 普段は SkyWay というプラットフォームを開発しています。 この記事では、GitHub ActionsからGoogle Cloud Platform(以下GCP)のCloud FunctionsにPipenvを利用したPythonアプリケーションをデプロイした際の話をGitHubのEnvironmentsなどに触

こんにちは、データサイエンティストの堀部です。 この記事は Enigmo Advent Calendar 2022 の16日目の記事です。 普段の業務では情報検索(検索/レコメンド)、不正検知、ユーザー属性の推定などを BUYMA にプロダクトとして組み込むことを行っています。その中でも モデリング 以前のタスク設計や探索的データ分析( EDA : Explanatory Data Analysis)、データのクレンジング・前処理、特徴量エンジニアリングなどを主に SQL (BigQuery)で行う部分に

こんにちは！ 株式会社ココナラのシステムプラットフォーム部でプロダクトインフラと社内情報システムを担当している ゆーた と申します。 4回目のブログ投稿になりますが、今回はイベント参加レポートです。 12/1（木）にGoogle Cloud社主催の「第一回 Digital Native Leaders Meetup」に参加してきましたので、その内容をかいつまんでご紹介します。 Google Cloud社の渋谷オフィスで開催されたオフラインのMeetupです。 会場はGoogle Cloud社の食堂でした。

はじめに こんにちは。AIシステム部のS.Tです。 AIモデルを作るための学習環境といえば、JupyterNotebookを思い浮かべる方も多いと思います。セルにコードを書き、順次実行して結果を確認しながらコーディングを進めることができるので、研究開発には持ってこいのツールとなっています。 ただ、AIに関する業務となると、AIモデルの学習のあと、そのAIモデルの予測結果を、自社のサービスや業務改善に活用するフローを運用するところまでがセットとなります。ビジネス的なニーズによって、定期バッチで実行したり、モ

この記事は、Luup Advent Calendarの9日目の記事です。 こんにちは。Data Engineeringチームの河野(@matako1124) です！ 最近データカタログを導入したのですが、ツールの選定方法と実装方法についてご紹介したいと思います。結論から言うと、Luupでは社内ドキュメントとしてNotionをどの部署も使用しているため、Notionをデータカタログとして使おうという選択にしました。 注意 執筆に当たり細心の注意を払っておりますが、不十分な説明や誤りがある可能性もございます。