「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 346 - 360件目
Storage Transfer ServiceでCloud Monitoringしてみた
2023/08/15
ブックマーク
はじめに こんにちは、クラウドエースの浦谷です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプ
ZOZOTOWN検索におけるA/Bテスト分析の自動化の取り組み
2023/08/15
ブックマーク
はじめに こんにちは。検索基盤部の岩崎です。検索基盤部ではZOZOTOWNの検索機能の改善に日々取り組んでいます。ZOZOTOWNのおすすめ順検索のプロジェクトでは、機械学習モデルを活用した検索結果の並び順の改善に取り組んでおり、全ての施策はA/Bテストで検証しています。なお、最近の並び順精度改善の取り組みについては以下の記事をご参照ください。 techblog.zozo.com
octocovとGitHub Actionsでテストカバレッジ監視をする
2023/08/10
ブックマーク
こんにちは。 Photorait エンジニアのヒエイです。 octocovをGitHub Actionsで使ってテストカバレッジを監視している話をします。 octocov https://github.com/k1LoW/octocov テストカバレッジ値やテストコード実行時間を管理できるツールです。特徴的なのがメトリクス一覧やラベルバッジ作成を行えるだけでなく、Github上だけで監視ツールとして完結できるところが便利だと感じています
Googleの生成AI、PaLM 2をSlack連携して社内ツールとして導入してみた
2023/08/09
ブックマーク
G-gen のタナです。Google Cloud (旧称 GCP) の生成 AI (Generative AI) である PaLM 2 を用いて、Slackと連携した簡易的なチャットボットの PoC を行いました。 はじめに 前提知識と事前準備 PaLM 2 Slack App Python Slack SDK Google App Engine APIの有効化 権限周りの設定 検証 概要と構成図 App Engine へのデプロイ 必要なファイル 1. requirements.txt 2. app.yaml 3. app.py 実行結果 Slack を介して PaLM 2 を活用する
Cloud Spanner Data Boost とは
2023/08/04
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の竹内です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調
BigQueryのフェイルセーフ期間が一般提供(GA)になりました
2023/08/01
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の篠田です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・
2023年7月24日週のGoogle Cloudの主なリリースに関するニュース
2023/07/31
ブックマーク
クラウドエースの北野です。 7月24-28日までのGoogle Cloudの主なリリースに関して紹介します。 ! 該当の日のすべての情報ではないので、すべてのリリースノートを確認されたい方は、当該ページからご確認ください。 BigQuery クエリキューの機能提供 (GA) クエリキューは、 BigQuery のスロットの予約に対して設定する機能となっています。 クエリキューは同時実行可能なクエ
Cloud SQLの変更データをKafka on GKE でキャプチャしてみませんか
2023/07/26
ブックマーク
はじめに こんにちは。クラウドエース株式会社で SRE をしている間瀬です。 今回は Google Cloud上で Cloud SQL で更新されたデータを Apache Kafka(以下、Kafka) を経由して Pub/Sub や他のAPへ連携する方法を紹介したいと思います。 Cloud SQL と Kafka 間の連携は Debezium というOSSを利用して、Kafka は Google Kubernetes Engine (以下、GKE) へデプロイしていきます。 アーキテクチャ 今回紹介する方
【Merpay & Mercoin Tech Fest 2023】8月23日のトークセッション見どころをご紹介
2023/07/25
ブックマーク
こんにちは！Merpay Engineering Enagement Team の@mikichinです。 来たる8月22日（火）から8月24日（木）までの3日間にわたり、「Merpay & Mercoin Tech Fest 2023」をオンライン開催します！ テーマは「Unleash Fintech」。メルペイ・メルコインのこれまでの技術的な取り組みはもちろん、メルカリグループのFintech事業における新たな挑戦をお伝えします。メルペイ・メルコインが今後どのよ
BigQueryのクエリ実行グラフを使って、クエリパフォーマンス向上のためのヒントを得る
2023/07/25
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の松山です。 データML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 リリース内
2023年7月17日週のGoogle Cloudの主なリリースに関するニュース
2023/07/25
ブックマーク
クラウドエースの北野です。 7月17-21日までのGoogle Cloudの主なリリースに関して紹介します。 ! 該当の日のすべての情報ではないので、すべてのリリースノートを確認されたい方は、当該ページからご確認ください。 BigQuery 主キーと外部キーのテーブル制約の機能提供 (GA) BigQuery ML で ARIMA_PLUS_XREG モデルを使った多変量時系列予測の提供 (GA) BigQuery ML で モデルの可能性を向
BigQuery MLでVertex AIの基盤モデルPaLM2を呼び出して感情分析してみた
2023/07/25
ブックマーク
G-gen 又吉です。当記事では、BigQuery ML から Vertex AI の基盤モデルを呼び出して感情分析を行う方法を解説します。 前提知識 Generative AI Support on Vertex AI リモートモデル ML.GENERATE_TEXT 関数 概要 引数 出力 クォータと制限 概要 使用するデータ 今回やること プロンプト設計 精度結果 準備 API の有効化 データセットの作成 Connection の作成 サービスアカウントに権限付与 リモー
Cloud WorkflowsとDataformを用いたデータ分析パイプラインを構築してみた
2023/07/24
ブックマーク
G-gen 又吉です。当記事では、Cloud Workflows と Dataform を用いてデータ分析パイプラインを構築してみたいと思います。 前提知識 Cloud Workflows Dataform ETL と ELT 概要 今回の構成 Cloud Workflows のスコープ Dataform のスコープ 準備 ディレクトリ構造 main.tf gcf_source_code/etl_raw_data main.py requirements.txt gcf_source_code/etl_weather_data main.py requirements.txt source_data 実行 Terraform 実行 Dataform の設定 概要
Vertex AI Pipelinesを効率的に開発するための取り組み
2023/07/21
ブックマーク
こんにちは、タイミーのデータ統括部データサイエンス（以下DS）グループ所属の小関です。 今回はDSグループがMLパイプライン構築時に活用しているVertex AI Pipelinesを効率的に開発するための取り組みを紹介したいと思います！ Vertex AI Pipelinesとは Vertex AI Pipelines とは、 Google Cloudが提供しているMLパイプラインをサーバーレスに構築・実行できるサービスです。 Vertex AI Pipel
DREが考えるデータ基盤の生産性とfourkeysによる可視化
2023/07/20
ブックマーク
DREグループの 石井 です。 先日といってももうしばらく前ですが、Techmeeというイベントで生産性についてトイルの計測をしてそれを一定に抑える取り組みをしているという話をさせて頂きました 。 https://timeedev.connpass.com/event/275750/ www.youtube.com これはDREグループ内の生産性を維持する=一定以上のアウトプットが出せる状態を作り出すための取り組みでした。 しかし、生産