「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 331 - 345件目
GAになった Pub/Sub の Cloud Storage サブスクリプションを試してみた
2023/09/06
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属のZUMA SEAです。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査
2023年8月21日週のGoogle Cloudの主なリリースに関するニュース
2023/09/04
ブックマーク
クラウドエースの北野です。 8月21-8月27日までのGoogle Cloudの主なリリースに関して紹介します。 ! 該当の日のすべての情報ではないので、すべてのリリースノートを確認されたい方は、当該ページからご確認ください。 BigQuery データのプロファイル作成とデータのクオリティ監視のテーブルスキャン機能の提供 (GA) Analytics Hub でのサブスクリプション管理機能の提供 (Preview
Google Cloud Next '23 速報を日本語で解説(2&3日目)
2023/09/01
ブックマーク
G-gen の杉村です。2023年8月29日〜31日 (現地時間)、Google Cloud Next '23 が米国・サンフランシスコで開催されました。 前回の記事 では1日目の発表を扱いましたので、今回の記事ではそれ以外の発表等をご紹介します。 はじめに 開発の効率化 Jump Start Solutions GitLab との提携 Application Integration の GA インフラ C3A / C3D VM Titanium BigQuery と AI/ML BigQuery ML での生成 AI 利用 Feature Store の Bi
Google Cloud Next '23 速報を日本語で解説(1日目)
2023/08/31
ブックマーク
G-gen の杉村です。2023年8月29日〜31日 (現地時間)、Google Cloud Next '23 が米国・サンフランシスコで開催されました。当日は多くの Google Cloud / Google Workspace 関連の新機能や新サービスが発表されました。その全てではありませんが、重要な発表のいくつかをお伝えします。当記事では一日目、すなわち8月29日 (火) の発表を取り上げます。 はじめに 総評 参考リンク 二日目・三
BigQuery の検索インデックスを試す
2023/08/30
ブックマーク
TL; DR BigQuery には、検索インデックス機能というものがあります この機能を用いると、大容量のテーブルから文字列を抽出する際に、処理するデータ量と処理完了までの時間が大幅に削減されるかもしれません 検索インデックスとは こんにちは、クラウドエース データML ディビジョン所属の田中です。 クラウドエースの データML ディビジョンは、クラウドエースの ITエ
2023年8月14日週のGoogle Cloudの主なリリースに関するニュース
2023/08/25
ブックマーク
クラウドエースの北野です。 8月14-8月20日までのGoogle Cloudの主なリリースに関して紹介します。 ! 該当の日のすべての情報ではないので、すべてのリリースノートを確認されたい方は、当該ページからご確認ください。 Google Kubernetes Engine (GKE) GKE Infrastructure Dashboards and Metrics Packages の提供 (GA) interactive playbook ダッシュボードからCPUとメモリ使用率のトラブルシューティング
H3を使用したLookerでの可視化
2023/08/23
ブックマーク
こんにちは、タイミーのデータ統括部データサイエンス（以下DS）グループ所属の菊地です。 今回は、タイミーがBIツールとして導入しているLookerでの、 H3 を使用した可視化をするための取り組みを紹介したいと思います！ H3とは H3 とは、Uber社が開発しているグリッドシステムで、オープンソースとして提供されています。 H3 では、位置情報に紐づいたイベントを階層
データスペシャリストコース新人研修レポート（2023年）GCPハッカソン
2023/08/23
ブックマーク
自己紹介 始めまして。今年度、株式会社リクルートにデータスペシャリストとして新卒入社しました澤邉裕紀、山根大輝と申します。
AWS Glueを用いた自動拡張型ETLでスピーディな分析基盤を構築
2023/08/22
ブックマーク
KINTOテクノロジーズの分析グループでデータエンジニアリングチームのチームリーダーを担当している中川です。 最近はゴルフに目覚め球単価を気にする生活になりました。今年の目標はコースデビューすることです！ さて本記事ではKINTOの分析基盤をどのように効率よく開発し、サービスローンチに合わせて分析に必要となるデータを提供しているのかというデータエ
クラシルリワードのデータ基盤
2023/08/22
ブックマーク
はじめに クラシルリワードについて データ基盤の全体構成 BigQueryの選定理由 データ基盤における重要な役割 アプリのイベントログのscan量削減 DynamoDBやRDSをBigQueryにSync Snowflakeの活用 BIツール(Redash, Looker) Redash Redash repositoryのフォルダ・ファイル構成 git管理下のSQLクエリをRedashに反映 Lookerについて さいごに はじめに こんにちは！クラシルリワードで開発責任者をしてい
ZOZO TECH BLOGを支える技術 #3 Looker Studioを使った数字分析
2023/08/21
ブックマーク
はじめに こんにちは、DevRelブロックの @wiroha です。DevRelの3名による連載「ZOZO TECH BLOGを支える技術」の3本目、最終回として Looker Studio （旧データポータル）を使ったBLOGの数字分析についてご紹介します。 Looker Studioは、データを視覚的にわかりやすいグラフやチャートにして表示するツールです。ZOZO内ではCSレポートの作成や、計測プロダクトのデータ分析などで活用し
BigQueryのクロスリージョン・データセットレプリケーションを解説
2023/08/21
ブックマーク
G-gen の杉村です。BigQuery の可用性を高めるための クロスリージョン・データセットレプリケーション (Cross-region dataset replication) について解説します。 クロスリージョン・データセットレプリケーションとは 仕組み BigQuery の可用性 データのレプリケーション セカンダリ・レプリカの昇格 料金 制限 ロケーションの考慮事項 その他の制限 セカンダリ・レプリカへのクエリ
2023年8月7日週のGoogle Cloudの主なリリースに関するニュース
2023/08/17
ブックマーク
クラウドエースの北野です。 8月7-8月13日までのGoogle Cloudの主なリリースに関して紹介します。 ! 該当の日のすべての情報ではないので、すべてのリリースノートを確認されたい方は、当該ページからご確認ください。 Cloud Spanner データベースの削除保護ポリシー機能の提供 (GA) 運用のオペレーションミスによるデータベースの削除を防ぐ機能となっています。本番環境を
CloudDataLossPrevention（CloudDLP）のサブスクリプション料金について
2023/08/16
ブックマーク
はじめに こんにちは、クラウドエースのデータMLディビジョン所属の玉野です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータMLディビジョンです。 データMLディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・
【第4回】ビッグデータ分析のためのSQL基礎
2023/08/16
ブックマーク
本連載では、ブロックチェーンの基本的な仕組みを解説しながら、オンチェーンデータを分析するための基本的な手法について、全8回で紹介します。 第4回となる今回は、オンチェーンデータ分析の手法としてSQLを用いることのメリットについて、SQLの背景にある概念や歴史などを交えながら解説していきます。 データ分析のためのSQL SQLとは、もともとリレーショナルデ