「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 211 - 225件目
BigQuery MLにおいてML.TRANSFORM関数を活用し、前処理されたデータを確認しよう！
2024/02/29
ブックマーク
はじめに こんにちは、クラウドエースデータソリューション部所属のヒッキーです。クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータソリューション部です。 データソリューション部では活動の一環として、毎週 Google Cloud (旧 Google Cloud
BigQuery Subscription のスキーマ設定
2024/02/28
ブックマーク
1. はじめに こんにちは、クラウドエース データソリューション部所属の泉澤です。 クラウドエースのITエンジニアリングを担うシステム統括部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータソリューション部です。 データソリューション部では活動の一環として、毎週 Google Cloud の新規リリース
AWS Lambda（Python）のモノレポ構成と開発環境
2024/02/27
ブックマーク
みなさんこんにちは！ ワンキャリアでデータエンジニアをしている野田です！（GitHub： @tsugumi-sys ） 最近はウイスキーにハマっています！ジャパニーズウイスキーの価格が高騰する中、お手頃で美味しいものはないかと血眼になって探している日々です。最近飲んだ中で一番美味しかったのはシーバスリーガル18年です。さて、趣味の話はこれくらいにして、早速本題に
Vertex AI Search x LINE：LINEから受け取った質問の可視化 vol.2
2024/02/26
ブックマーク
はじめに こんにちは、クラウドエースの岸本です。 今回は、前回の記事で作成した LINE と Vertex AI Search and Conversation の社内チャットボットの続編です。 LINE で受け取った質問をカテゴリ化し、Looker Studio で可視化してみたいと思います。 Looker Studio については以下の動画、記事で簡単に説明されています。 今回の構成図です。 対象読者 Google Cloud を触るのが初めての方 Goo
次世代データ基盤：データレイクハウスを Google Cloud で実現する
2024/02/22
ブックマーク
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張っていきたいと思います。 クラウドエース データソリューション部
Pub/SubのBigQueryサブスクリプションを使ってみた
2024/02/20
ブックマーク
G-gen の杉村です。 Pub/Sub の BigQuery サブスクリプション を使うと、Pub/Sub に対して発行したメッセージを簡単に BigQuery テーブルに書き込むことができます。 前提知識 BigQuery サブスクリプションとは スキーマ テーブルの作成 Pub/Sub トピックの作成 Pub/Sub サブスクリプションの作成 メッセージ送信のテスト BigQuery テーブルの確認 前提知識 BigQuery サブスクリプションとは Pub
開発環境をGCP上に作りたい＆Terraform管理したい
2024/02/14
ブックマーク
SREチームの島です。最近Terraformを書いてるのですがまだまだ理解不足なところもあり日々試行錯誤しています。 今日は開発環境をTerraformで作成した話をします。 背景 複数人でGCP上で動くアプリを開発したい 各自がローカルで変更したソースを動作確認できる環境を作りたい やりたいこと 各自がローカルで変更したソースを動かせる環境をGCP上に作りたい 全部ローカル
Cloud Loggingの運用上のTips集
2024/02/13
ブックマーク
G-gen の藤岡です。当記事では、Google Cloud (旧称 GCP) の Cloud Logging の Tips を紹介します。 Cloud Logging とは ログカテゴリと保存先 全体像 カテゴリ 保存先 保持期間 料金 2 つの料金軸 節約時のログ精査方法 ログエクスプローラー Duet AI データアクセス監査ログ利用時 有効は継承される 閲覧には追加権限が必要 参考記事 Cloud Logging とは Cloud Logging (旧称 Stackdriver Logging) は Google
Document AIを徹底解説
2024/02/12
ブックマーク
G-gen の片岩です。当記事では文書のデジタル化と解析を自動化するサービスである Document AI について解説します。 概要 Document AI とは ユースケース 利用方法 対応フォーマット プロセッサ プロセッサとは 汎用プロセッサ OCR プロセッサ Form パーサー 専用プロセッサ カスタムプロセッサ カスタムドキュメントエクストラクタ カスタムドキュメント分類器 カスタムドキュ
BigQueryを使った集計バッチの費用をActive Metadata Managementの知見を活かして4割減らした話
2024/02/05
ブックマーク
初めまして。MLデータ部データ基盤ブロックの小泉です。 本記事ではGartner社から提唱されたActive Metadata Managementに着目し、BigQueryのCompute費用を削減した方法についてご紹介します。 目次 目次 Active Metadata Managementとは 結局どんなことを行なったのか、ざっくりまとめ Compute費用のpricing modelとReservationについて pricing model Reservation Metadataを使用して最安値のpricing modelを求める
Personalized Service Healthを徹底解説
2024/02/05
ブックマーク
G-gen の杉村です。 Personalized Service Health は、Google Cloud の障害を特定、通知するサービスです。このサービスについて、徹底解説します。 Personalized Service Health とは 対応プロダクト インシデント インシデントとは Relevance（影響度） 有効化 アラート通知 アラートポリシーの利用 メール通知の例 設定手順 ポリシーを作成 テンプレートを選択 アラートポリシーの編集 参考
2024年1月のイチオシGoogle Cloudアップデート
2024/02/01
ブックマーク
G-gen の杉村です。2024年1月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに GmailへのDMARC設定方法 BigQuery に Document AI が統合 Google Cloud、解約時のデータの外部転送料金を無料に textembedding-gecko でチューニングが Preview => GA Vertex AI Workbench で User Managed Notebook と Managed Notebook が廃止 Cloud Build
Google Cloud Next Tokyo ’23に参加してきました
2024/01/29
ブックマーク
こんにちは！ LIFULLエンジニアの吉永、三宅、森です。 2023/11/15～16 東京ビックサイトにて開催されたGoogle Cloud Next Tokyo ’23に参加してきました。3人がそれぞれ現地で聴講したセッションの感想をメインに参加レポートを共有します。 cloudonair.withgoogle.com アジェンダ セッションについて 所感 まとめ セッションについて 聴講したセッションの中から印象的だったものを抜粋
データ転送を簡素化: Amazon AppFlow を利用した Google BigQuery から Amazon S3 への転送
2024/01/28
ブックマーク
昨今のデータドリブンな世界では、様々なプラットフォーム間でデータを簡単に移動して分析できることが不可欠です。フルマネージド型のデータ統合サービスである Amazon AppFlow は AWS サービスと SaaS アプリケーション間のデータ転送を効率化する最前線に立ってきており、現在は Google BigQuery にも対応しています。このブログ記事では、Amazon AppFlowの Google BigQuery コネク
品質の可視化への取り組み：バグ管理の事例紹介
2024/01/23
ブックマーク
こんにちは、メルカリのQAエンジニアのFunakiです。今回は品質改善と可視化のための取り組み、特にバグ管理（Bug Management）に焦点を当てて、QAチームがどのような活動を行っているのかをご紹介します。 我々は2018年頃からバグ管理の取り組みを始め、試行錯誤を重ねてきました。製品の品質に関する課題を抱えた方や、品質の可視化を進めたいと考えている方にとって、