「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 256 - 270件目
dbtに関連する運用の自動化
2023/12/12
ブックマーク
この記事は Timee Advent Calendar 2023 シリーズ 3 の12日目の記事です。 qiita.com はじめに DREグループでデータエンジニアをやっている 西山 です。 今回は、データ転送まわりの運用自動化について書きます。 タイミーのアプリログが分析できる状態になるまでのリードタイムが長く、効果検証や意思決定に遅れが出ていた問題に対して、dbtに関連する運用を自動化することで改
PyGithubでGitHubの管理タスクを自動化してみた（後編）
2023/12/12
ブックマーク
G-gen の佐伯です。 前編 では PyGithub の管理タスク自動化の事前準備・導入について紹介しました。後編では新規ブランチの作成、ブランチ内ファイルの更新・削除、プルリクエストの自動化についてご紹介したいと思います。 はじめに 前編記事 当記事でやること 事前準備 データを準備 Github リポジトリを作成・main ブランチにファイルを準備 新規ブランチ作成 ファイル
データ基盤のTerraformディレクトリ構成
2023/12/11
ブックマーク
こんにちは、今年の4月に新卒で入社したデータエンジニアの中村です。 この記事は Enigmo Advent Calendar 2023 の11日目の記事です。 入社してからは、社内のデータを利用者がより使いやすくなるように、データ基盤の整備・データ連携を進めております。 最近弊社のデータ基盤をTerraformによる管理に移行するタスクに取り組んでいるので、どのような ディレクト リ構成を採
データカタログをNotionからdbt docsに切り替えた話
2023/12/10
ブックマーク
これは Luup Advent Calendar 2023 の 10 日目の記事です。 こんにちは。Data Engineeringチームの河野(@matako1124) です！ 去年の今頃にデータカタログにNotionを選択した理由という記事を書いたのですが、それを今年さらに進化させたよというお話をしたいと思います。 結論から言うと、Notionでの管理からdbt docsに切り替えを行い、Cloud RunでHostingするようにしました。 注意 執筆に当た
新卒エンジニアが Airflow のバグを発見してからコントリビュートするまで
2023/12/09
ブックマーク
この記事は、 Merpay Advent Calendar 2023 の9日目の記事です。 こんにちは。今年の春に新卒でメルペイに入社し、Credit Platform Team でバックエンドエンジニアをしている @champon です。Credit Platform Team では主に ML（いわゆるAI与信） を用いた与信枠の算出を行っていますが、その中でも自分はワークフローエンジンである Airflow を用いたデータパイプラインの開発・運用を行ってい
BigQueryにおけるdbtの増分更新についてまとめてみた
2023/12/08
ブックマーク
はじめに ※ Timeeのカレンダー | Advent Calendar 2023 - Qiita の12月8日分の記事です。 okodooooooonです BigQueryの料金爆発。怖いですよね。 dbtでの開発が進んでたくさんのモデルを作るようになると、デイリーのビルドだけでも凄まじいお金が消えていったりします（僕はもう現職で数え切れないくらいやらかしてます）。 コストの対策として「パーティショ
爆誕予定のテレメトリー集約/可視化基盤を晒してみる
2023/12/08
ブックマーク
この記事は、 NTT Communications Advent Calendar 2023 8 日目の記事です。 はじめに こんにちは、イノベーションセンターでノーコード分析ツール「Node-AI」開発チームの林です。 業務としては Node-AI のフロントエンドやバックエンド開発、最近では監視/可視化のプラットフォーム開発に携わっています。 本記事ではこの監視/可視化のプラットフォームについて、検討段階ではあ
Cloud Storageで管理フォルダを使ったアクセス制御
2023/12/07
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属のヒッキーです。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud (旧 Google Cloud Pla
Vertex AI Feature StoreとVertex AI Text-Embeddingを使った活用事例
2023/12/07
ブックマーク
当記事では、BigQuery に統合された Vertex AI Feature Store というベクトルストアと、テキストの意味をベクトル化できる Vertex AI Text-Embeddings API を使った活用事例をご紹介します。 当記事は Google Cloud Champion Innovators Advent Calendar 2023 の7日目の記事です。 Vertex AI Feature Store とは Vertex AI Text-Embeddings API とは 活用例 ①レコメンド ②グラウンディング サンプルアプリ アーキテクチャ
BigQuery でカスタム マスキング ルーチンが使えるようになりました
2023/12/06
ブックマーク
こんにちは！クラウドエース株式会社 データ ML ディビジョン所属の福家です。 クラウドエースの データ ML ディビジョンは、クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門としています。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud
キャリア事業のデータエンジニアが運用する、データ分析基盤における「データカタログ」について
2023/12/06
ブックマーク
この記事は 株式会社エス・エム・エス Advent Calendar 2023 の6日目の記事です。 エス・エム・エス BPR推進部 カスタマーデータチームの橘と申します。 私は「ナース人材バンク」等のキャリア事業を中心に、社内のデータ活用の推進、データ基盤の開発運用を担当する、データエンジニアの役割を担っています。 今回は私の組織におけるデータエンジニアの役割を簡単にご紹
GCPのストレージ・データベースサービスたちをまとめてみた
2023/12/05
ブックマーク
はじめに GCPにはさまざまなストレージサービスやデータベースサービスがあります。 GCP試験の勉強中、頭がごちゃごちゃになったポイントでした。（私の場合） 今回は6つのストレージサービスについて簡単にまとめていこうと思います。 Google Cloud Storage（GCS） 特徴 オブジェクトストレージサービス 容量無制限 低価格 ◦Amazon S3と同じ感じ いろいろ ストレージクラス GC
クラウド料金の見積もり方法を解説！
2023/12/05
ブックマーク
G-gen の杉村です。当記事では Google Cloud（旧称 GCP）をベースに、クラウド料金の見積もり方法・試算方法を徹底解説します。 はじめに 3つの性質 1. 従量課金 2. 月次請求 3. 変動する 試算方法 料金ページ 料金試算ツール リセールパートナーを頼る 割引 コミットメント制度 請求代行（リセールパートナー） 見積もり手順の例 手計算 Calculator はじめに 当記事では Google Cloud
BigQuery で GA のテーブルをクラスタ化テーブルにしてコスト削減した話
2023/12/04
ブックマーク
概要 これは Luup Advent Calendar 2023 の 4 日目の記事です。 BigQuery のクエリコスト削減のために、Google Analytics のテーブルをクラスタ化テーブルにしたという内容です。 背景 こんにちは、データエンジニアリングチームの辻尾です。 データエンジニアリングチームは社員 2 名、業務委託 1 名の体制で回しており、私は業務委託として携わっています。 Luup では Data Warehouse に Bi
2023年11月のイチオシGoogle Cloudアップデート
2023/12/01
ブックマーク
G-gen の杉村です。2023年11月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Duet AI が Cloud Logging のログを要約・説明 (GA) 復数の Duet AI 関連アップデート BigQuery で異なるユーザ間でもキャッシュが効くように BigQuery で過去〜現在のストレージ使用量を取得可能に (Preview) BigQuery で TEXT_ANALYZE