「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 241 - 255件目
Cloud Spanner のバッチ指向スキャンを試してみた
2023/12/22
ブックマーク
はじめに こんにちは！クラウドエース データ ML ディビジョン所属のマルフォイです。 データ ML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回
バッチ SQL トランスレータが使いやすくなりました
2023/12/21
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の大城です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンになります。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリー
MLOps基盤のフルマネージド化に向けたVertex AI Pipelinesへの移行
2023/12/21
ブックマーク
こんにちは。エンジニアの竹田です。 BUYMA の検索システムやMLOps基盤の開発・運用を担当しております。 こちらは Enigmo Advent Calendar 2023 の21日目の記事です 🎄 弊社では2021年頃よりMLOps基盤を Google Cloud PlatformのAI Platform Pipelines上に構築して開発・運用を行っています。 この度、Vertex AI Pipelinesへの移行を全面的に進めることになりましたので、ご紹介も兼ねて記事にしたい
GCSのリソース最適化の取り組みで得た知見
2023/12/20
ブックマーク
こんにちは。メルカリ Accounting Productsチーム Software Engineerのayanekoです。 この記事は、 Mercari Advent Calendar 2023 の20日目の記事です。 私たちAccounting Productsチームは会計システムの開発、運用をしています。会計データを扱うという特性上、以下にあげる理由から大量のデータを保持しており、多額の費用がかかっていました。 会計データは法律上一定期間の保持が必要であ
Eventarc を使用して Dataflow ジョブを管理する
2023/12/20
ブックマーク
はじめに こんにちは、クラウドエース データMLディビジョン所属の直江です。 データMLディビジョンとはクラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門としております。 データMLディビジョンでは活動の一環として、毎週Google Cloudの新規リリースを調査
Google Cloud Generative AI Summit Osakaに参加してみた！
2023/12/20
ブックマーク
本記事は TechHarmony Advent Calendar 12/20付の記事です。 こんにちは。SCSKの江木です。 Google Cloud Generative AI Summit Osakaに参加してきたので、イベントの内容と感想を投稿します。 Google Cloud Generative AI Summit Osakaとは？ Google Cloud Generative AI Summit Osakaとは2023年12月14日にコングレコンベンションセンターで開催された、生成AIに特化したGoogle Cloudのイベントです。現地とオンラインの両
エニグモにおける開発生産性分析の取り組み
2023/12/20
ブックマーク
こんにちは、サービスエンジニアリング本部の平井です。 こちらは Enigmo Advent Calendar 2023 の 20日 目の記事です。 私は、エンジニア部門で取り組んでいる開発生産性分析について紹介します。 開発生産性分析を試みた経緯 現在、 エニグモ では開発組織体制の変更、メンバー増強など様々な組織強化を目指した動きが加速してきています。ただ、そのような施策が開発組
Cloud Run ジョブにオーバーライド機能が追加されました
2023/12/18
ブックマーク
はじめに こんにちは！クラウドエース データML ディビジョン所属の佐塚と申します。 データML ディビジョンとはクラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門としております。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリー
BigQueryの列レベル暗号化(Cloud KMS利用)を解説
2023/12/18
ブックマーク
G-gen の杉村です。BigQuery では、Cloud KMS で管理する暗号鍵を使って、列レベルの暗号化を行うことができます。その仕組みと方法を解説します。 BigQuery における暗号化 ストレージ暗号化とは 列レベル暗号化とは 権限と読取可能性 暗号化方式 AEAD 暗号化とキーセット エンベロープ暗号化 BigQuery 以外でのエンベロープ暗号化 2つの暗号化関数 検証 作業の流れ 1. Cloud KMS 鍵を
【BigQuery】Google Cloudで課金情報を閲覧制御する
2023/12/18
ブックマーク
本記事は 【Advent Calendar 2023】 18日目の記事①です。 🎄 17日目 ▶▶ 本記事 ▶▶ 18日目記事② ▶▶ 19日目 🎅 はじめに 課題 対応手順 IAMロール設定 Cloud SQLへのラベル付け BigQueryへの課金データのエクスポート BigQueryでクエリを作成 クエリのスケジューリング BigQueryテーブルのアクセス制限 おわりに はじめに こんにちは。Webシステムサービス事業部 右代谷です。 最近携
総合職の新卒1年目が、自社のデータ構造に合わせたSQL生成AIを作ってみた
2023/12/17
ブックマーク
この記事は CyberAgent Developers Advent Calendar 2023 1 ...
Vertex AIとChatGPTで社内ナレッジを検索できるチャットボットを作ってみた
2023/12/16
ブックマーク
はじめに こんにちは。 RevCommでCorporate EngineeringチームおよびFull Stackチームで活動している川添です。 社内の情報管理、うまくできているでしょうか？ルールやナレッジを共有しあっているけれども、過去に話した内容を何度も確認しあっている、過去の情報をうまく検索できない、などの問題が起きてないでしょうか？ どの会社でもこのような問題は起きているかと思
BigQuery を Pandas のように操作する
2023/12/13
ブックマーク
はじめに こんにちは、クラウドエース Data/ML ディビジョン所属の坂田です。 BigQuery 界隈のみなさん、「BigQuery DataFrames」という Python ライブラリをご存知でしょうか。 BigQuery DataFrames は 2023 年 9 月に登場したライブラリで、BigQuery データを使ってデータ分析を行うことができる、Google 提供のライブラリです。 BigQuery DataFrames は、2 つの機能に分かれています。 Pandas ライク
dbt jobの分割方針について考えてみた
2023/12/13
ブックマーク
※ Timeeのカレンダー | Advent Calendar 2023 - Qiita の12月13日分の記事です。 はじめに こんにちは okodoooooonです dbtユーザーの皆さん。dbtモデルのbuild、どうやって分割して実行してますか？ 何かしらの方針に従って分割をすることなく、毎回全件ビルドをするような運用方針だと使い勝手が悪かったりするんじゃないかなあと思います。 現在進行中のdbtのもろもろの環境をいい
BigQueryで柔軟な権限管理を実現するGoogleグループを活用した仮想的なデータセット
2023/12/13
ブックマーク
開発した背景 株式会社リクルートでデータエンジニアとして働いている宮井です。普段はインフラ寄りのデータエンジニアとして社内