「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全387件中 31 - 45件目
2024年2月のイチオシGoogle Cloudアップデート
2024/03/01
ブックマーク
G-gen の杉村です。2024年2月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Meet で参加者全員向けに画面のピン留めができるように Cloud Logging から Cloud Storage へのエクスポート Cloud Translation で Adaptive Translation が Preview => GA（Preview） Google Meet API が Preview => GA Google アカウントのログイン
AWS Lambda（Python）のモノレポ構成と開発環境
2024/02/27
ブックマーク
みなさんこんにちは！ ワンキャリアでデータエンジニアをしている野田です！（GitHub： @tsugumi-sys ） 最近はウイスキーにハマっています！ジャパニーズウイスキーの価格が高騰する中、お手頃で美味しいものはないかと血眼になって探している日々です。最近飲んだ中で一番美味しかったのはシーバスリーガル18年です。さて、趣味の話はこれくらいにして、早速本題に
Pub/SubのBigQueryサブスクリプションを使ってみた
2024/02/20
ブックマーク
G-gen の杉村です。 Pub/Sub の BigQuery サブスクリプション を使うと、Pub/Sub に対して発行したメッセージを簡単に BigQuery テーブルに書き込むことができます。 前提知識 BigQuery サブスクリプションとは テーブルスキーマの利用 テーブルの作成 Pub/Sub トピックの作成 Pub/Sub サブスクリプションの作成 メッセージ送信のテスト BigQuery テーブルの確認 前提知識 BigQuery サブスクリ
開発環境をGCP上に作りたい＆Terraform管理したい
2024/02/14
ブックマーク
SREチームの島です。最近Terraformを書いてるのですがまだまだ理解不足なところもあり日々試行錯誤しています。 今日は開発環境をTerraformで作成した話をします。 背景 複数人でGCP上で動くアプリを開発したい 各自がローカルで変更したソースを動作確認できる環境を作りたい やりたいこと 各自がローカルで変更したソースを動かせる環境をGCP上に作りたい 全部ローカル
Cloud Loggingの運用上のTips集
2024/02/13
ブックマーク
G-gen の藤岡です。当記事では、Google Cloud (旧称 GCP) の Cloud Logging の Tips を紹介します。 Cloud Logging とは ログカテゴリと保存先 全体像 カテゴリ 保存先 保持期間 料金 2 つの料金軸 節約時のログ精査方法 ログエクスプローラー Duet AI データアクセス監査ログ利用時 有効は継承される 閲覧には追加権限が必要 参考記事 Cloud Logging とは Cloud Logging (旧称 Stackdriver Logging) は Google
Document AIを徹底解説
2024/02/12
ブックマーク
G-gen の片岩です。当記事では文書のデジタル化と解析を自動化するサービスである Document AI について解説します。 概要 Document AI とは ユースケース 利用方法 対応フォーマット プロセッサ プロセッサとは 汎用プロセッサ OCR プロセッサ Form パーサー 専用プロセッサ カスタムプロセッサ カスタムドキュメントエクストラクタ カスタムドキュメント分類器 カスタムドキュ
BigQueryを使った集計バッチの費用をActive Metadata Managementの知見を活かして4割減らした話
2024/02/05
ブックマーク
初めまして。MLデータ部データ基盤ブロックの小泉です。 本記事ではGartner社から提唱されたActive Metadata Managementに着目し、BigQueryのCompute費用を削減した方法についてご紹介します。 目次 目次 Active Metadata Managementとは 結局どんなことを行なったのか、ざっくりまとめ Compute費用のpricing modelとReservationについて pricing model Reservation Metadataを使用して最安値のpricing modelを求める
Personalized Service Healthを徹底解説
2024/02/05
ブックマーク
G-gen の杉村です。 Personalized Service Health は、Google Cloud の障害を特定、通知するサービスです。このサービスについて、徹底解説します。 Personalized Service Health とは 対応プロダクト インシデント インシデントとは Relevance（影響度） 有効化 アラート通知 アラートポリシーの利用 メール通知の例 参考ドキュメント Personalized Service Health とは Personalized Service Health とは、Google C
2024年1月のイチオシGoogle Cloudアップデート
2024/02/01
ブックマーク
G-gen の杉村です。2024年1月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに GmailへのDMARC設定方法 BigQuery に Document AI が統合 Google Cloud、解約時のデータの外部転送料金を無料に textembedding-gecko でチューニングが Preview => GA Vertex AI Workbench で User Managed Notebook と Managed Notebook が廃止 Cloud Build
Google Cloud Next Tokyo ’23に参加してきました
2024/01/29
ブックマーク
こんにちは！ LIFULLエンジニアの吉永、三宅、森です。 2023/11/15～16 東京ビックサイトにて開催されたGoogle Cloud Next Tokyo ’23に参加してきました。3人がそれぞれ現地で聴講したセッションの感想をメインに参加レポートを共有します。 cloudonair.withgoogle.com アジェンダ セッションについて 所感 まとめ セッションについて 聴講したセッションの中から印象的だったものを抜粋
データ転送を簡素化: Amazon AppFlow を利用した Google BigQuery から Amazon S3 への転送
2024/01/28
ブックマーク
昨今のデータドリブンな世界では、様々なプラットフォーム間でデータを簡単に移動して分析できることが不可欠です。フルマネージド型のデータ統合サービスである Amazon AppFlow は AWS サービスと SaaS アプリケーション間のデータ転送を効率化する最前線に立ってきており、現在は Google BigQuery にも対応しています。このブログ記事では、Amazon AppFlowの Google BigQuery コネク
品質の可視化への取り組み：バグ管理の事例紹介
2024/01/23
ブックマーク
こんにちは、メルカリのQAエンジニアのFunakiです。今回は品質改善と可視化のための取り組み、特にバグ管理（Bug Management）に焦点を当てて、QAチームがどのような活動を行っているのかをご紹介します。 我々は2018年頃からバグ管理の取り組みを始め、試行錯誤を重ねてきました。製品の品質に関する課題を抱えた方や、品質の可視化を進めたいと考えている方にとって、
BigQuery MLのML.GENERATE_TEXT関数を使ってテキストデータを要約してみた
2024/01/19
ブックマーク
こんにちは。SCSKの江木です。 Google Cloud Generative AI Summit Osakaでも紹介されていた、BigQuery MLのML.GENERATE_TEXT関数を使って、テキストのデータセットを要約してみたので、実装方法を紹介します。 Google Cloud Generative AI Summit Osakaでの詳しい内容は過去の記事をご確認いただけますと幸いです。 Google Cloud Generative AI Summit Osakaに参加してみた！ Google Cloud Generative AI Summit Osakaに参加し
BigQueryのスナップショットとクローンを解説
2024/01/16
ブックマーク
G-gen の杉村です。BigQuery には スナップショット と クローン と呼ばれる機能があり、ストレージ料金を節約しつつテーブルを瞬時に複製することができます。これらの機能について解説します。 スナップショットとクローン スナップショットとは / クローンとは 共通の性質 コピーオンライト ユースケース スナップショット クローン 料金 利用と運用 スナップショット
GKE上にAirbyteを構築しSaaSデータ連携をリプレイスした話
2023/12/26
ブックマーク
はじめに こんにちは、MLデータ部データ基盤ブロックの仲地です。初めてのテックブログへの投稿になります。主に業務ではデータ基盤の開発・運用を担当しています。 データ基盤ブロックではELTツールである Airbyte を導入し、一部のデータ転送パイプラインをリプレイスしました。本記事ではそのAirbyteの構築方法と運用するにあたって工夫した点を紹介します。 目次