「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全378件中 31 - 45件目
Google Cloud Next Tokyo ’23に参加してきました
2024/01/29
ブックマーク
こんにちは！ LIFULLエンジニアの吉永、三宅、森です。 2023/11/15～16 東京ビックサイトにて開催されたGoogle Cloud Next Tokyo ’23に参加してきました。3人がそれぞれ現地で聴講したセッションの感想をメインに参加レポートを共有します。 cloudonair.withgoogle.com アジェンダ セッションについて 所感 まとめ セッションについて 聴講したセッションの中から印象的だったものを抜粋
データ転送を簡素化: Amazon AppFlow を利用した Google BigQuery から Amazon S3 への転送
2024/01/28
ブックマーク
昨今のデータドリブンな世界では、様々なプラットフォーム間でデータを簡単に移動して分析できることが不可欠です。フルマネージド型のデータ統合サービスである Amazon AppFlow は AWS サービスと SaaS アプリケーション間のデータ転送を効率化する最前線に立ってきており、現在は Google BigQuery にも対応しています。このブログ記事では、Amazon AppFlowの Google BigQuery コネク
品質の可視化への取り組み：バグ管理の事例紹介
2024/01/23
ブックマーク
こんにちは、メルカリのQAエンジニアのFunakiです。今回は品質改善と可視化のための取り組み、特にバグ管理（Bug Management）に焦点を当てて、QAチームがどのような活動を行っているのかをご紹介します。 我々は2018年頃からバグ管理の取り組みを始め、試行錯誤を重ねてきました。製品の品質に関する課題を抱えた方や、品質の可視化を進めたいと考えている方にとって、
BigQuery MLのML.GENERATE_TEXT関数を使ってテキストデータを要約してみた
2024/01/19
ブックマーク
こんにちは。SCSKの江木です。 Google Cloud Generative AI Summit Osakaでも紹介されていた、BigQuery MLのML.GENERATE_TEXT関数を使って、テキストのデータセットを要約してみたので、実装方法を紹介します。 Google Cloud Generative AI Summit Osakaでの詳しい内容は過去の記事をご確認いただけますと幸いです。 Google Cloud Generative AI Summit Osakaに参加してみた！ Google Cloud Generative AI Summit Osakaに参加し
BigQueryのスナップショットとクローンを解説
2024/01/16
ブックマーク
G-gen の杉村です。BigQuery には スナップショット と クローン と呼ばれる機能があり、ストレージ料金を節約しつつテーブルを瞬時に複製することができます。これらの機能について解説します。 スナップショットとクローン スナップショットとは / クローンとは 共通の性質 コピーオンライト ユースケース スナップショット クローン 料金 利用と運用 スナップショット
GKE上にAirbyteを構築しSaaSデータ連携をリプレイスした話
2023/12/26
ブックマーク
はじめに こんにちは、MLデータ部データ基盤ブロックの仲地です。初めてのテックブログへの投稿になります。主に業務ではデータ基盤の開発・運用を担当しています。 データ基盤ブロックではELTツールである Airbyte を導入し、一部のデータ転送パイプラインをリプレイスしました。本記事ではそのAirbyteの構築方法と運用するにあたって工夫した点を紹介します。 目次
BigQueryマニュアル「関数のベストプラクティス（Best practices for functions）」を試してみた結果（その１）
2023/12/25
ブックマーク
こんにちは、 エニグモ 嘉松です。 BUYMA のプロモーションや マーケティング を行っている事業部に所属、その中のデータ活用推進室という部署で会社のデータ活用の推進や マーケティング ・オートメーションツール（MAツール）を活用した販促支援、 CRM などを担当しています。 この記事は Enigmo Advent Calendar 2023 の 25 日目の記事です。 はじめに この記事では Google から
Looker StudioのデータソースにBigQueryのテーブルを使用する
2023/12/22
ブックマーク
本記事は 【Advent Calendar 2023】 22日目の記事②です。 🎄 21日目 ▶▶ 22日目記事① ▶▶ 本記事 ▶▶ 23日目 🎅 坂本です。 昨年に続いてAdvent Calendarに執筆させていただきました。 ※本記事は下記の2023-10-31に投稿した記事の続編になるため、ご覧になっていない方はまずこちらを参照していただけると幸いです。 Looker Studioのデータソースで BigQueryのカスタムクエリを使
MLOps基盤のフルマネージド化に向けたVertex AI Pipelinesへの移行
2023/12/21
ブックマーク
こんにちは。エンジニアの竹田です。 BUYMA の検索システムやMLOps基盤の開発・運用を担当しております。 こちらは Enigmo Advent Calendar 2023 の21日目の記事です 🎄 弊社では2021年頃よりMLOps基盤を Google Cloud PlatformのAI Platform Pipelines上に構築して開発・運用を行っています。 この度、Vertex AI Pipelinesへの移行を全面的に進めることになりましたので、ご紹介も兼ねて記事にしたい
GCSのリソース最適化の取り組みで得た知見
2023/12/20
ブックマーク
こんにちは。メルカリ Accounting Productsチーム Software Engineerのayanekoです。 この記事は、 Mercari Advent Calendar 2023 の20日目の記事です。 私たちAccounting Productsチームは会計システムの開発、運用をしています。会計データを扱うという特性上、以下にあげる理由から大量のデータを保持しており、多額の費用がかかっていました。 会計データは法律上一定期間の保持が必要であ
Google Cloud Generative AI Summit Osakaに参加してみた！
2023/12/20
ブックマーク
本記事は TechHarmony Advent Calendar 12/20付の記事です。 こんにちは。SCSKの江木です。 Google Cloud Generative AI Summit Osakaに参加してきたので、イベントの内容と感想を投稿します。 Google Cloud Generative AI Summit Osakaとは？ Google Cloud Generative AI Summit Osakaとは2023年12月14日にコングレコンベンションセンターで開催された、生成AIに特化したGoogle Cloudのイベントです。現地とオンラインの両
エニグモにおける開発生産性分析の取り組み
2023/12/20
ブックマーク
こんにちは、サービスエンジニアリング本部の平井です。 こちらは Enigmo Advent Calendar 2023 の 20日 目の記事です。 私は、エンジニア部門で取り組んでいる開発生産性分析について紹介します。 開発生産性分析を試みた経緯 現在、 エニグモ では開発組織体制の変更、メンバー増強など様々な組織強化を目指した動きが加速してきています。ただ、そのような施策が開発組
BigQueryの列レベル暗号化(Cloud KMS利用)を解説
2023/12/18
ブックマーク
G-gen の杉村です。BigQuery では、Cloud KMS で管理する暗号鍵を使って、列レベルの暗号化を行うことができます。その仕組みと方法を解説します。 BigQuery における暗号化 ストレージ暗号化とは 列レベル暗号化とは 権限と読取可能性 暗号化方式 AEAD 暗号化とキーセット エンベロープ暗号化 BigQuery 以外でのエンベロープ暗号化 2つの暗号化関数 検証 作業の流れ 1. Cloud KMS 鍵を
【BigQuery】Google Cloudで課金情報を閲覧制御する
2023/12/18
ブックマーク
本記事は 【Advent Calendar 2023】 18日目の記事①です。 🎄 17日目 ▶▶ 本記事 ▶▶ 18日目記事② ▶▶ 19日目 🎅 はじめに 課題 対応手順 IAMロール設定 Cloud SQLへのラベル付け BigQueryへの課金データのエクスポート BigQueryでクエリを作成 クエリのスケジューリング BigQueryテーブルのアクセス制限 おわりに はじめに こんにちは。Webシステムサービス事業部 右代谷です。 最近携
総合職の新卒1年目が、自社のデータ構造に合わせたSQL生成AIを作ってみた
2023/12/17
ブックマーク
この記事は CyberAgent Developers Advent Calendar 2023 1 ...