「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全378件中 91 - 105件目
dbtCloudから作成したPullRequestにコンパイル済みSQLをコメントする仕組みを作成した話
2023/09/07
ブックマーク
こんにちは☀️ タイミーでアナリストとアナリティクスエンジニアしてますokodoonです 今回の記事はdbt CloudでPull Requestを作るときに、レビュー負荷が高くなってしまっていた問題を解消できるように、 コンパイル 済みの SQL をPR上にコメントするような仕組みを作成したことについての紹介です。 もし同じような課題感を抱えている方がいらっしゃれば、参考にしていた
Google Cloud Next '23 速報を日本語で解説(2&3日目)
2023/09/01
ブックマーク
G-gen の杉村です。2023年8月29日〜31日 (現地時間)、Google Cloud Next '23 が米国・サンフランシスコで開催されました。 前回の記事 では1日目の発表を扱いましたので、今回の記事ではそれ以外の発表等をご紹介します。 はじめに 開発の効率化 Jump Start Solutions GitLab との提携 Application Integration の GA インフラ C3A / C3D VM Titanium BigQuery と AI/ML BigQuery ML での生成 AI 利用 Feature Store の Bi
Google Cloud Next '23 速報を日本語で解説(1日目)
2023/08/31
ブックマーク
G-gen の杉村です。2023年8月29日〜31日 (現地時間)、Google Cloud Next '23 が米国・サンフランシスコで開催されました。当日は多くの Google Cloud / Google Workspace 関連の新機能や新サービスが発表されました。その全てではありませんが、重要な発表のいくつかをお伝えします。当記事では一日目、すなわち8月29日 (火) の発表を取り上げます。 はじめに 総評 参考リンク 二日目・三
H3を使用したLookerでの可視化
2023/08/23
ブックマーク
こんにちは、タイミーのデータ統括部データサイエンス（以下DS）グループ所属の菊地です。 今回は、タイミーがBIツールとして導入しているLookerでの、 H3 を使用した可視化をするための取り組みを紹介したいと思います！ H3とは H3 とは、 Uber 社が開発しているグリッドシステムで、 オープンソース として提供されています。 H3 では、位置情報に紐づいたイベントを階
データスペシャリストコース新人研修レポート（2023年）GCPハッカソン
2023/08/23
ブックマーク
自己紹介 始めまして。今年度、株式会社リクルートにデータスペシャリストとして新卒入社しました澤邉裕紀、山根大輝と申します。
AWS Glueを用いた自動拡張型ETLでスピーディな分析基盤を構築
2023/08/22
ブックマーク
KINTOテクノロジーズの分析グループでデータエンジニアリングチームのチームリーダーを担当している中川です。 最近はゴルフに目覚め球単価を気にする生活になりました。今年の目標はコースデビューすることです！ さて本記事ではKINTOの分析基盤をどのように効率よく開発し、サービスローンチに合わせて分析に必要となるデータを提供しているのかというデータエ
ZOZO TECH BLOGを支える技術 #3 Looker Studioを使った数字分析
2023/08/21
ブックマーク
はじめに こんにちは、DevRelブロックの @wiroha です。DevRelの3名による連載「ZOZO TECH BLOGを支える技術」の3本目、最終回として Looker Studio （旧データポータル）を使ったBLOGの数字分析についてご紹介します。 Looker Studioは、データを視覚的にわかりやすいグラフやチャートにして表示するツールです。ZOZO内ではCSレポートの作成や、計測プロダクトのデータ分析などで活用し
BigQueryのクロスリージョン・データセットレプリケーションを解説
2023/08/21
ブックマーク
G-gen の杉村です。BigQuery の可用性を高めるための クロスリージョン・データセットレプリケーション (Cross-region dataset replication) について解説します。 クロスリージョン・データセットレプリケーションとは 仕組み BigQuery の可用性 データのレプリケーション セカンダリ・レプリカの昇格 料金 制限 ロケーションの考慮事項 その他の制限 セカンダリ・レプリカへのクエリ
【第4回】ビッグデータ分析のためのSQL基礎
2023/08/16
ブックマーク
本連載では、ブロックチェーンの基本的な仕組みを解説しながら、オンチェーンデータを分析するための基本的な手法について、全8回で紹介します。 第4回となる今回は、オンチェーンデータ分析の手法としてSQLを用いることのメリットについて、SQLの背景にある概念や歴史などを交えながら解説していきます。 データ分析のためのSQL SQLとは、もともとリレーショナルデ
ZOZOTOWN検索におけるA/Bテスト分析の自動化の取り組み
2023/08/15
ブックマーク
はじめに こんにちは。検索基盤部の岩崎です。検索基盤部ではZOZOTOWNの検索機能の改善に日々取り組んでいます。ZOZOTOWNのおすすめ順検索のプロジェクトでは、機械学習モデルを活用した検索結果の並び順の改善に取り組んでおり、全ての施策はA/Bテストで検証しています。なお、最近の並び順精度改善の取り組みについては以下の記事をご参照ください。 techblog.zozo.com
octocovとGitHub Actionsでテストカバレッジ監視をする
2023/08/10
ブックマーク
こんにちは。 Photorait エンジニアのヒエイです。 octocovをGitHub Actionsで使ってテストカバレッジを監視している話をします。 octocov https://github.com/k1LoW/octocov テストカバレッジ値やテストコード実行時間を管理できるツールです。特徴的なのがメトリクス一覧やラベルバッジ作成を行えるだけでなく、Github上だけで監視ツールとして完結できるところが便利だと感じています
Googleの生成AI、PaLM 2をSlack連携して社内ツールとして導入してみた
2023/08/09
ブックマーク
G-gen のタナです。Google Cloud (旧称 GCP) の生成 AI (Generative AI) である PaLM 2 を用いて、Slackと連携した簡易的なチャットボットの PoC を行いました。 はじめに 前提知識と事前準備 PaLM 2 Slack App Python Slack SDK Google App Engine APIの有効化 権限周りの設定 検証 概要と構成図 App Engine へのデプロイ 必要なファイル 1. requirements.txt 2. app.yaml 3. app.py 実行結果 Slack を介して PaLM 2 を活用する
【Merpay & Mercoin Tech Fest 2023】8月23日のトークセッション見どころをご紹介
2023/07/25
ブックマーク
こんにちは！Merpay Engineering Enagement Team の@mikichinです。 来たる8月22日（火）から8月24日（木）までの3日間にわたり、「Merpay & Mercoin Tech Fest 2023」をオンライン開催します！ テーマは「Unleash Fintech」。メルペイ・メルコインのこれまでの技術的な取り組みはもちろん、メルカリグループのFintech事業における新たな挑戦をお伝えします。メルペイ・メルコインが今後どのよ
BigQuery MLでVertex AIの基盤モデルPaLM2を呼び出して感情分析してみた
2023/07/25
ブックマーク
G-gen 又吉です。当記事では、BigQuery ML から Vertex AI の基盤モデルを呼び出して感情分析を行う方法を解説します。 前提知識 Generative AI Support on Vertex AI リモートモデル ML.GENERATE_TEXT 関数 概要 引数 出力 クォータと制限 概要 使用するデータ 今回やること プロンプト設計 精度結果 準備 API の有効化 データセットの作成 Connection の作成 サービスアカウントに権限付与 リモー
Cloud WorkflowsとDataformを用いたデータ分析パイプラインを構築してみた
2023/07/24
ブックマーク
G-gen 又吉です。当記事では、Cloud Workflows と Dataform を用いてデータ分析パイプラインを構築してみたいと思います。 前提知識 Cloud Workflows Dataform ETL と ELT 概要 今回の構成 Cloud Workflows のスコープ Dataform のスコープ 準備 ディレクトリ構造 main.tf gcf_source_code/etl_raw_data main.py requirements.txt gcf_source_code/etl_weather_data main.py requirements.txt source_data 実行 Terraform 実行 Dataform の設定 概要