「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全387件中 46 - 60件目
BigQueryマニュアル「関数のベストプラクティス（Best practices for functions）」を試してみた結果（その１）
2023/12/25
ブックマーク
こんにちは、 エニグモ 嘉松です。 BUYMA のプロモーションや マーケティング を行っている事業部に所属、その中のデータ活用推進室という部署で会社のデータ活用の推進や マーケティング ・オートメーションツール（MAツール）を活用した販促支援、 CRM などを担当しています。 この記事は Enigmo Advent Calendar 2023 の 25 日目の記事です。 はじめに この記事では Google から
Looker StudioのデータソースにBigQueryのテーブルを使用する
2023/12/22
ブックマーク
本記事は 【Advent Calendar 2023】 22日目の記事②です。 🎄 21日目 ▶▶ 22日目記事① ▶▶ 本記事 ▶▶ 23日目 🎅 坂本です。 昨年に続いてAdvent Calendarに執筆させていただきました。 ※本記事は下記の2023-10-31に投稿した記事の続編になるため、ご覧になっていない方はまずこちらを参照していただけると幸いです。 Looker Studioのデータソースで BigQueryのカスタムクエリを使
MLOps基盤のフルマネージド化に向けたVertex AI Pipelinesへの移行
2023/12/21
ブックマーク
こんにちは。エンジニアの竹田です。 BUYMA の検索システムやMLOps基盤の開発・運用を担当しております。 こちらは Enigmo Advent Calendar 2023 の21日目の記事です 🎄 弊社では2021年頃よりMLOps基盤を Google Cloud PlatformのAI Platform Pipelines上に構築して開発・運用を行っています。 この度、Vertex AI Pipelinesへの移行を全面的に進めることになりましたので、ご紹介も兼ねて記事にしたい
GCSのリソース最適化の取り組みで得た知見
2023/12/20
ブックマーク
こんにちは。メルカリ Accounting Productsチーム Software Engineerのayanekoです。 この記事は、 Mercari Advent Calendar 2023 の20日目の記事です。 私たちAccounting Productsチームは会計システムの開発、運用をしています。会計データを扱うという特性上、以下にあげる理由から大量のデータを保持しており、多額の費用がかかっていました。 会計データは法律上一定期間の保持が必要であ
Google Cloud Generative AI Summit Osakaに参加してみた！
2023/12/20
ブックマーク
本記事は TechHarmony Advent Calendar 12/20付の記事です。 こんにちは。SCSKの江木です。 Google Cloud Generative AI Summit Osakaに参加してきたので、イベントの内容と感想を投稿します。 Google Cloud Generative AI Summit Osakaとは？ Google Cloud Generative AI Summit Osakaとは2023年12月14日にコングレコンベンションセンターで開催された、生成AIに特化したGoogle Cloudのイベントです。現地とオンラインの両
エニグモにおける開発生産性分析の取り組み
2023/12/20
ブックマーク
こんにちは、サービスエンジニアリング本部の平井です。 こちらは Enigmo Advent Calendar 2023 の 20日 目の記事です。 私は、エンジニア部門で取り組んでいる開発生産性分析について紹介します。 開発生産性分析を試みた経緯 現在、 エニグモ では開発組織体制の変更、メンバー増強など様々な組織強化を目指した動きが加速してきています。ただ、そのような施策が開発組
BigQueryの列レベル暗号化(Cloud KMS利用)を解説
2023/12/18
ブックマーク
G-gen の杉村です。BigQuery では、Cloud KMS で管理する暗号鍵を使って、列レベルの暗号化を行うことができます。その仕組みと方法を解説します。 BigQuery における暗号化 ストレージ暗号化とは 列レベル暗号化とは 権限と読取可能性 暗号化方式 AEAD 暗号化とキーセット エンベロープ暗号化 BigQuery 以外でのエンベロープ暗号化 2つの暗号化関数 検証 作業の流れ 1. Cloud KMS 鍵を
【BigQuery】Google Cloudで課金情報を閲覧制御する
2023/12/18
ブックマーク
本記事は 【Advent Calendar 2023】 18日目の記事①です。 🎄 17日目 ▶▶ 本記事 ▶▶ 18日目記事② ▶▶ 19日目 🎅 はじめに 課題 対応手順 IAMロール設定 Cloud SQLへのラベル付け BigQueryへの課金データのエクスポート BigQueryでクエリを作成 クエリのスケジューリング BigQueryテーブルのアクセス制限 おわりに はじめに こんにちは。Webシステムサービス事業部 右代谷です。 最近携
総合職の新卒1年目が、自社のデータ構造に合わせたSQL生成AIを作ってみた
2023/12/17
ブックマーク
この記事は CyberAgent Developers Advent Calendar 2023 1 ...
Vertex AIとChatGPTで社内ナレッジを検索できるチャットボットを作ってみた
2023/12/16
ブックマーク
はじめに こんにちは。 RevCommでCorporate EngineeringチームおよびFull Stackチームで活動している川添です。 社内の情報管理、うまくできているでしょうか？ルールやナレッジを共有しあっているけれども、過去に話した内容を何度も確認しあっている、過去の情報をうまく検索できない、などの問題が起きてないでしょうか？ どの会社でもこのような問題は起きているかと思
dbt jobの分割方針について考えてみた
2023/12/13
ブックマーク
※ Timeeのカレンダー | Advent Calendar 2023 - Qiita の12月13日分の記事です。 はじめに こんにちは okodoooooonです dbtユーザーの皆さん。dbtモデルのbuild、どうやって分割して実行してますか？ 何かしらの方針に従って分割をすることなく、毎回全件ビルドをするような運用方針だと使い勝手が悪かったりするんじゃないかなあと思います。 現在進行中のdbtのもろもろの環境をいい
BigQueryで柔軟な権限管理を実現するGoogleグループを活用した仮想的なデータセット
2023/12/13
ブックマーク
開発した背景 株式会社リクルートでデータエンジニアとして働いている宮井です。普段はインフラ寄りのデータエンジニアとして社内
dbtに関連する運用の自動化
2023/12/12
ブックマーク
この記事は Timee Advent Calendar 2023 シリーズ 3 の12日目の記事です。 qiita.com はじめに DREグループでデータエンジニアをやっている 西山 です。 今回は、データ転送まわりの運用自動化について書きます。 タイミーのアプリログが分析できる状態になるまでのリードタイムが長く、効果検証や意思決定に遅れが出ていた問題に対して、dbtに関連する運用を自動化することで改
PyGithubでGitHubの管理タスクを自動化してみた（後編）
2023/12/12
ブックマーク
G-gen の佐伯です。 前編 では PyGithub の管理タスク自動化の事前準備・導入について紹介しました。後編では新規ブランチの作成、ブランチ内ファイルの更新・削除、プルリクエストの自動化についてご紹介したいと思います。 はじめに 前編記事 当記事でやること 事前準備 データを準備 Github リポジトリを作成・main ブランチにファイルを準備 新規ブランチ作成 ファイル
データ基盤のTerraformディレクトリ構成
2023/12/11
ブックマーク
こんにちは、今年の4月に新卒で入社したデータエンジニアの中村です。 この記事は Enigmo Advent Calendar 2023 の11日目の記事です。 入社してからは、社内のデータを利用者がより使いやすくなるように、データ基盤の整備・データ連携を進めております。 最近弊社のデータ基盤をTerraformによる管理に移行するタスクに取り組んでいるので、どのような ディレクト リ構成を採