「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全521件中 406 - 420件目
GitHub Copilotでブログ記事書いてみた
2021/12/18
ブックマーク
本記事は 電通国際情報サービス Advent Calendar 2021 の18日目のポストです。 （本記事の太字部分は、 GitHub Copilotで補完された箇所です。その仕組みや感想などは記事の後半で説明します。） こんにちは。ISID X イノベーション 本部の半田です。普段は 社内向けの構成管理サービスの運用 をやっています。 今年の6月末、 GitHub は「関数名とコメントから、関数の ソースコー
BigQueryにエクスポートしたGoogle アナリティクス 4 (GA4) のデータを取り出そう！
2021/12/16
ブックマーク
本記事はNRIネットコム Advent Calendar 2021 16日目の記事です。 🎅 15日目 ▶▶ 本記事 ▶▶ 17日目 🐶 はじめまして、中島と申します。 普段はGoogle アナリティクスの導入支援やコンサルティング、データ活用に向けたデータ分析業務などを行っております。 はじめに BigQuery のデータ構造 BigQuery にエクスポートされるテーブルについて BigQuery にエクスポートされるデータの構
MLOpsはじめました
2021/12/15
ブックマーク
この記事は Enigmo Advent Calendar 2021 の15日目の記事です。 はじめに 寒さが身にしみる今日この頃、みなさん如何お過ごしでしょうか。 最近、○○エンジニアという肩書きがよく分からなくなってきたエンジニアの伊藤です。 アドベントカレンダー の時期になると年末になったんだなという実感が湧きますね。 今回は今年一番注力してやってきたMLOpsについて書いていこう
BigQueryとAirtableをGASとZapierで自動連携してNPSアンケートチェックを効率化した話
2021/12/10
ブックマーク
こんにちは、 エニグモ カスタマー マーケティング 事業本部で出品審査などを担当している杉山です。この記事は Enigmo Advent Calendar 2021 の10日目の記事です。 昨年の アドベントカレンダー では、 日頃の担当業務についてWantedlyで書きました が、今回は開発者ブログにお邪魔しました。 エンジニアではなくビジネスサイドの人間ですが、通常業務の傍らITツールを駆使し
Cookieレス時代の正攻法、GA・BigQueryを活用したマーケティング事例のご紹介
2021/12/10
ブックマーク
Cookieレス時代に向けて自社データの活用が急務となっています。自社データ活用事例とDMP構築事例、データ活用プロジェクトの進め方をご紹介するウェビナーの開催レポートです。
Lookerでショップのサービス活用カルテを作成した話
2021/12/08
ブックマーク
この記事は BASE アドベントカレンダー と Looker アドベントカレンダー 8 日目の記事です。 はじめに BASE BANK 株式会社にて事業開発を担当している猪瀬 ( @Masahiro_Inose )です。 私達のチームでは、BASE ショップを運営しているショップオーナー様が簡単に資金調達をできる「 YELL BANK 」というサービスの開発・運営しています。 thebase.in 今回の記事は以下の二部構成となります
BigQueryのパーティションとクラスタリングについての解説
2021/12/07
ブックマーク
G-genの杉村です。Google Cloud（旧称 GCP）のフルマネージドのデータウェアハウスである BigQuery には、パフォーマンスの向上に当たり パーティション と クラスタリング という重要な概念があります。それぞれの仕組みや使い分けを解説していきます。 パーティション パーティションとは パーティションフィルタ要件 (Partition filter requirements) メリット パーティションの分
社内のソースコードをGitHub Enterprise にとりまとめてる話
2021/12/02
ブックマーク
みなさんこんにちは、社内のエンジニアが働きやすくすることを目標にする Engineer Empowerment プロジェクトの @Mahito です。 この記事は、 NTT Communications Advent Calendar 2021 2日目の記事です。 今回は社内のソースコードを GitHub Enterprise にとりまとめる活動とそこで遭遇した課題と解決方法についてお話します。 背景 きっかけは「 NeWork のソースコードが見たい」という私の思い
INFORMATION_SCHEMAを用いたBigQueryのストレージ無駄遣い調査
2021/11/24
ブックマーク
こんにちは、 『地球の歩き方ムー』創刊のニュース に心を踊らせている、データ基盤ブロックの塩崎です。 本記事では、データ基盤の管理者としてBigQueryのストレージコストの削減に取り組んだ事例を紹介します。 BigQuery費用はクエリ費用だけではない ZOZOのデータ基盤として利用されているBigQueryは、非常にパワフルなDWH（Data WareHouse）です。しかし、それ故に利用者の
Vertex AIで作るBizDevメンバー向けモデリング環境
2021/11/12
ブックマーク
はじめに こんにちは、ZOZO NEXTのApplied MLチームでMLエンジニアをしている柳です。機械学習を使ってビジネス上の課題解決をする仕事に取り組んでいます。今回は、BizDevメンバーのAutoML Tables活用をサポートする中で出会った課題やその解決方法について紹介します。 はじめに 概要 AutoML Tablesによるモデリング 基本的な使い方 配信施策における使い方 発生した課題 SQLの管
Cloud Loggingの概念と仕組みをしっかり解説
2021/11/12
ブックマーク
G-genの杉村です。 Cloud Logging は Google Cloud (旧称 GCP) 上のシステム等が生成したログを収集・保管・管理する仕組みです。基本的な概念や仕組みを解説していきます。 Cloud Logging 概要 Cloud Logging とは 対象のログ ログの保存先 料金 Cloud Logging の料金 最初から存在するログバケットの料金 ストレージ料金の課金開始 取り込み料金の節約 Cloud Logging が扱う4種類のログ 1. Google Clo
BigQueryのアクセス制御と権限設計を解説
2021/10/28
ブックマーク
G-genの杉村です。BigQuery への認証・認可は Cloud IAM によって制御されますが、その仕組みは複雑です。当記事では、仕組みを詳細に解説します。 はじめに BigQuery と認証・認可 IAM の基本概念 BigQuery 関連の IAM 権限の理解 ジョブ実行とデータアクセス ジョブ実行権限 データへのアクセス権限 読み取り権限 書き込み権限 メタデータへのアクセス権限 ロールが持つ IAM 権限
Kubeflow PipelinesからVertex Pipelinesへの移行による運用コスト削減
2021/10/26
ブックマーク
こんにちは、技術本部 データシステム部 MLOpsブロックの平田（ @TrsNium ）です。約2年半ぶりの執筆となる今回の記事では、MLOps向け基盤を「Kubeflow Pipelines」から「Vertex Pieplines」へ移行して運用コストを削減した取り組みを紹介します。 目次 目次 はじめに Vertex Pipelinesとは Vertex Pipelinesへの移行 Vertex Pipelinesへ移行するワークフロー 1. ワークフローのKubeflow Pipelines SDK V2への
Cloud Audit Logsを解説。Google Cloud(GCP)の証跡管理
2021/10/25
ブックマーク
杉村です。Google Cloud (旧称 GCP) では Cloud Audit Logs (Cloud Audit Logging) という仕組みで、自動的に API コールの履歴が記録されています。しかし一部のログは有効化しなければ記録されないなど、中身を正しく理解しておく必要があります。当記事ではこの Cloud Audit Logs を解説します。 Cloud Audit Logs の基本 Cloud Audit Logs とは API コールとは Cloud Audit Logs で記録できるログ ログの出
限定公開の Google アクセスの仕組みと手順をきっちり解説
2021/10/21
ブックマーク
G-genの杉村です。 限定公開の Google アクセス (Private Google Access) を使うと Google Cloud サービスの API に External IP を持っていない VM からでもアクセスできるようになります。当記事では、この機能を詳細に解説します。 限定公開の Google アクセスとは 仕様 利用するドメイン名 "利用するドメイン名" の意味 デフォルトのドメイン名を利用する private.googleapis.com / restricted.googleapi