「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全387件中 91 - 105件目
GoでSQLの複雑なクエリのテストを書いてみた
2023/10/10
ブックマーク
はじめに こんにちは。ブランドソリューション開発本部FAANSバックエンドブロックの佐野です。普段はサーバーサイドエンジニアとして、FAANSのバックエンドシステムを開発しています。 FAANSとは、弊社が2022年8月に正式ローンチした、アパレル店舗で働くショップスタッフの販売サポートツールです。例えば、コーディネート投稿機能や成果確認機能などを備えています
Looker StudioレポートごとのBigQueryクエリ課金額を調べる方法
2023/10/10
ブックマーク
G-gen の杉村です。Google Cloud (旧称 GCP) の BigQuery と BI ツールである Looker Studio のネイティブ統合機能である BigQuery native integration in Looker Studio が2023年10月2日に Private Preview (申込制) で公開されたため、その機能を活用して Looker Studio レポートごとの BigQuery 課金額を調査してみました。 はじめに やること 調査方法 留意事項 情報取得方法を理解する INFORMATION_SCHEMA.JOBS の構造
主要Google WorkspaceエディションでAppSheet Coreが使えるように！
2023/10/02
ブックマーク
G-gen ビジネス推進部の北田です。本記事では2023年7月のアップデートに伴い、従来有償ライセンスだった AppSheet Core が Google Workspace のほぼ全てのエディションで利用できるようになった ことについて紹介します。 AppSheet とは？ 従来まで AppSheet のエディション Google Workspace のエディションと AppSheet 今回のアップデートでの変更点 AppSheet のプランの違い 最後に AppSheet とは
【GA/BQ】クリックするだけ！Google AnalyticsデータをBigQueryへ連携
2023/09/28
ブックマーク
こんにちは。SCSK池宮です。 今回は、アクセス解析ツールとして有名なGoogle AnalyticsとBigQueryの連携を試してみます。 2つとも同じGoogleサービスのため相性がよく、実はとても簡単に（数回のクリックで）実現できます。 Google Analytics（GA）でできること まずは、GAって何ができるの？という方向けに、（かなりざっくり）サービスのご紹介です（既にご存知の方は読み飛ばし
BigQueryのオンデマンドクエリの利用量にフタをする (上限を設ける)
2023/09/26
ブックマーク
G-gen の杉村です。BigQuery のオンデマンドクエリの利用量にフタをする、つまりスキャンデータ量に上限を設けて突発課金を防止する工夫について紹介します。 はじめに 割り当て (Quota) の設定 Query usage per day 設定手順 割り当て画面へ遷移 対象の割り当てをフィルタ 編集ボタンをクリック 割り当てを設定 新しい割り当ての確認 動作確認 クエリのサイズ上限設定 クエリ単
Cloud Data FusionをIaCで構築し、データパイプラインのマイグレーションを行いました
2023/09/20
ブックマーク
はじめまして。CADDiでバックエンドエンジニアとして働いている中野です。 この記事では、Cloud Data Fusionを利用して作成したデータパイプラインについてご紹介します。 TL;DR Salesforce とBigQuery間のデータ連携にHeroku Connectをこれまで利用していたのですが、Cloud Data Fusionに乗り換えることでダウンタイムなしで約1/8までコストダウンができました。 モチベーション 弊社では
Google CloudのData Analytics Workshopに参加してきました!
2023/09/15
ブックマーク
Google CloudのData Analytics Workshopに参加してきました! こんにちは。 株式会社エブリーの開発本部データ&AIチーム(DAI)でデータエンジニアをしている吉田です。 今回は、先日参加したGoogle CloudのData Analytics Workshopについて紹介します。 はじめに エブリーでは、各サービスからのログをデータ基盤に集約し、これをデータ分析や機械学習のために活用しています。 データ基盤
Google Cloud Next '23 参加レポート 〜Google本社にも行ったよ！〜
2023/09/14
ブックマーク
こんにちは、MA部MA開発1ブロックの齋藤（ @kyoppii13 ）です。 8/29-8/31に開催された Google Cloud Next '23 へ参加してきました。今年は4年ぶりとなるオフライン開催で、アメリカ・サンフランシスコで開催されました。弊社からはMA部の齋藤・松岡・中原の3名が参加しました。 今年は生成AIにフォーカスした内容がとても多く、それに関連する新サービスの発表も多くありました
GASからサービスアカウントを使ってBigQueryを叩けるようにする
2023/09/12
ブックマーク
はじめに こんにちは、会員システムグループの上原です。 本記事ではサービスアカウントを使ったGoogle Apps Script(GAS)とGoogle Cloud BigQueryの連携方法を紹介していきます。 やりたいこと 今回、BigQueryを叩いてとってきたデータをスプレッドシートにまとめる処理を行う、GASスクリプトを改修していきます。 GASでBigQueryサービスを使用すると簡単にBigQueryを叩けますが、その際
dbtCloudから作成したPullRequestにコンパイル済みSQLをコメントする仕組みを作成した話
2023/09/07
ブックマーク
こんにちは☀️ タイミーでアナリストとアナリティクスエンジニアしてますokodoonです 今回の記事はdbt CloudでPull Requestを作るときに、レビュー負荷が高くなってしまっていた問題を解消できるように、 コンパイル 済みの SQL をPR上にコメントするような仕組みを作成したことについての紹介です。 もし同じような課題感を抱えている方がいらっしゃれば、参考にしていた
Google Cloud Next '23 速報を日本語で解説(2&3日目)
2023/09/01
ブックマーク
G-gen の杉村です。2023年8月29日〜31日 (現地時間)、Google Cloud Next '23 が米国・サンフランシスコで開催されました。 前回の記事 では1日目の発表を扱いましたので、今回の記事ではそれ以外の発表等をご紹介します。 はじめに 開発の効率化 Jump Start Solutions GitLab との提携 Application Integration の GA インフラ C3A / C3D VM Titanium BigQuery と AI/ML BigQuery ML での生成 AI 利用 Feature Store の Bi
Google Cloud Next '23 速報を日本語で解説(1日目)
2023/08/31
ブックマーク
G-gen の杉村です。2023年8月29日〜31日 (現地時間)、Google Cloud Next '23 が米国・サンフランシスコで開催されました。当日は多くの Google Cloud / Google Workspace 関連の新機能や新サービスが発表されました。その全てではありませんが、重要な発表のいくつかをお伝えします。当記事では一日目、すなわち8月29日 (火) の発表を取り上げます。 はじめに 総評 参考リンク 二日目・三
H3を使用したLookerでの可視化
2023/08/23
ブックマーク
こんにちは、タイミーのデータ統括部データサイエンス（以下DS）グループ所属の菊地です。 今回は、タイミーがBIツールとして導入しているLookerでの、 H3 を使用した可視化をするための取り組みを紹介したいと思います！ H3とは H3 とは、 Uber 社が開発しているグリッドシステムで、 オープンソース として提供されています。 H3 では、位置情報に紐づいたイベントを階
データスペシャリストコース新人研修レポート（2023年）GCPハッカソン
2023/08/23
ブックマーク
自己紹介 始めまして。今年度、株式会社リクルートにデータスペシャリストとして新卒入社しました澤邉裕紀、山根大輝と申します。
AWS Glueを用いた自動拡張型ETLでスピーディな分析基盤を構築
2023/08/22
ブックマーク
KINTOテクノロジーズの分析グループでデータエンジニアリングチームのチームリーダーを担当している中川です。 最近はゴルフに目覚め球単価を気にする生活になりました。今年の目標はコースデビューすることです！ さて本記事ではKINTOの分析基盤をどのように効率よく開発し、サービスローンチに合わせて分析に必要となるデータを提供しているのかというデータエ