「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 556 - 570件目
BigQueryとAirtableをGASとZapierで自動連携してNPSアンケートチェックを効率化した話
2021/12/10
ブックマーク
こんにちは、 エニグモ カスタマー マーケティング 事業本部で出品審査などを担当している杉山です。この記事は Enigmo Advent Calendar 2021 の10日目の記事です。 昨年の アドベントカレンダー では、 日頃の担当業務についてWantedlyで書きました が、今回は開発者ブログにお邪魔しました。 エンジニアではなくビジネスサイドの人間ですが、通常業務の傍らITツールを駆使し
Cookieレス時代の正攻法、GA・BigQueryを活用したマーケティング事例のご紹介
2021/12/10
ブックマーク
Cookieレス時代に向けて自社データの活用が急務となっています。自社データ活用事例とDMP構築事例、データ活用プロジェクトの進め方をご紹介するウェビナーの開催レポートです。
クラシルでのSnowflakeデータパイプラインのお話＆活用Tips
2021/12/09
ブックマーク
はじめに はじめまして。 クラシル開発部でデータエンジニアをしておりますharry( @gappy50 )です。 この記事は dely Advent Calendar 2021 および Snowflake Advent Calendar 2021 の9日目の記事です。 昨日はうっくんさんからのNotionでJiraを作ろう！というとても興味津々話でした！！ やっぱりNotionは色々できるのでいいですね◎ それと私のお話で恐縮ですが、昨日はSnowflakeのイベント Snowday
Lookerでショップのサービス活用カルテを作成した話
2021/12/08
ブックマーク
この記事は BASE アドベントカレンダー と Looker アドベントカレンダー 8 日目の記事です。 はじめに BASE BANK 株式会社にて事業開発を担当している猪瀬 ( @Masahiro_Inose )です。 私達のチームでは、BASE ショップを運営しているショップオーナー様が簡単に資金調達をできる「 YELL BANK 」というサービスの開発・運営しています。 thebase.in 今回の記事は以下の二部構成となります
BigQueryのパーティションとクラスタリングについての解説
2021/12/07
ブックマーク
G-genの杉村です。Google Cloud（旧称 GCP）のフルマネージドのデータウェアハウスである BigQuery には、パフォーマンスの向上に当たり パーティション と クラスタリング という重要な概念があります。それぞれの仕組みや使い分けを解説していきます。 パーティション パーティションとは パーティションフィルタ要件 (Partition filter requirements) メリット パーティションの分
社内のソースコードをGitHub Enterprise にとりまとめてる話
2021/12/02
ブックマーク
みなさんこんにちは、社内のエンジニアが働きやすくすることを目標にする Engineer Empowerment プロジェクトの @Mahito です。 この記事は、 NTT Communications Advent Calendar 2021 2日目の記事です。 今回は社内のソースコードを GitHub Enterprise にとりまとめる活動とそこで遭遇した課題と解決方法についてお話します。 背景 きっかけは「 NeWork のソースコードが見たい」という私の思い
INFORMATION_SCHEMAを用いたBigQueryのストレージ無駄遣い調査
2021/11/24
ブックマーク
こんにちは、 『地球の歩き方ムー』創刊のニュース に心を踊らせている、データ基盤ブロックの塩崎です。 本記事では、データ基盤の管理者としてBigQueryのストレージコストの削減に取り組んだ事例を紹介します。 BigQuery費用はクエリ費用だけではない ZOZOのデータ基盤として利用されているBigQueryは、非常にパワフルなDWH（Data WareHouse）です。しかし、それ故に利用者の
Vertex AIで作るBizDevメンバー向けモデリング環境
2021/11/12
ブックマーク
はじめに こんにちは、ZOZO NEXTのApplied MLチームでMLエンジニアをしている柳です。機械学習を使ってビジネス上の課題解決をする仕事に取り組んでいます。今回は、BizDevメンバーのAutoML Tables活用をサポートする中で出会った課題やその解決方法について紹介します。 はじめに 概要 AutoML Tablesによるモデリング 基本的な使い方 配信施策における使い方 発生した課題 SQLの管
Cloud Loggingの概念と仕組みをしっかり解説
2021/11/12
ブックマーク
G-genの杉村です。 Cloud Logging は Google Cloud（旧称 GCP）上のシステム等が生成したログを収集・保管・管理する仕組みです。基本的な概念や仕組みを解説していきます。 Cloud Logging 概要 Cloud Logging とは 対象のログ ログの保存先 Cloud Logging が扱うログ プラットフォーム ログ、コンポーネント ログ 監査ログ ユーザー作成のログ マルチクラウドとハイブリッド クラウドのログ
BigQueryのアクセス制御と権限設計を解説
2021/10/28
ブックマーク
G-genの杉村です。BigQuery への認証・認可は Cloud IAM によって制御されますが、その仕組みは複雑です。当記事では、仕組みを詳細に解説します。 はじめに BigQuery と認証・認可 IAM の基本概念 BigQuery 関連の IAM 権限の理解 ジョブ実行とデータアクセス ジョブ実行権限 データへのアクセス権限 読み取り権限 書き込み権限 メタデータへのアクセス権限 ロールが持つ IAM 権限
Kubeflow PipelinesからVertex Pipelinesへの移行による運用コスト削減
2021/10/26
ブックマーク
こんにちは、技術本部 データシステム部 MLOpsブロックの平田（ @TrsNium ）です。約2年半ぶりの執筆となる今回の記事では、MLOps向け基盤を「Kubeflow Pipelines」から「Vertex Pieplines」へ移行して運用コストを削減した取り組みを紹介します。 目次 目次 はじめに Vertex Pipelinesとは Vertex Pipelinesへの移行 Vertex Pipelinesへ移行するワークフロー 1. ワークフローのKubeflow Pipelines SDK V2への
Cloud Audit Logsを解説。Google Cloud(GCP)の証跡管理
2021/10/25
ブックマーク
杉村です。Google Cloud（旧称 GCP）の証跡管理の仕組みである Cloud Audit Logs （Cloud Audit Logging）について解説します。 Cloud Audit Logs の基本 Cloud Audit Logs とは API リクエストとは Cloud Audit Logs で記録できるログ ログの出力先 Cloud Audit Logs の料金 監査ログの種類 4 つの監査ログ No 1. 管理アクティビティ監査ログ No 2. データアクセス監査ログ No 3. システム イベント監査ログ No 4. ポ
限定公開の Google アクセスの仕組みと手順をきっちり解説
2021/10/21
ブックマーク
G-genの杉村です。 限定公開の Google アクセス (Private Google Access) を使うと Google Cloud サービスの API に External IP を持っていない VM からでもアクセスできるようになります。当記事では、この機能を詳細に解説します。 限定公開の Google アクセスとは 仕様 利用するドメイン名 "利用するドメイン名" の意味 デフォルトのドメイン名を利用する private.googleapis.com / restricted.googleapi
Google Cloudの請求の仕組みを分かりやすく解説してみた
2021/10/18
ブックマーク
G-genの杉村です。Google Cloud (旧称 GCP) の 請求の仕組み や 請求先アカウント について解説します。 基本的な概念 概念と用語 請求先アカウントとは お支払いプロファイル 複数のプロジェクトと請求 無料枠 プロジェクトとの紐づけ 紐づけの基本 必要な IAM 権限 Google Cloud パートナーによる請求代行（請求代行） 請求代行の仕組み 注意点 便利な機能 課金の分析 予算アラー
Google Cloud(旧GCP)利用してみたい！けど最初に対応すべきことは？初期設定のベストプラクティスを解説！
2021/10/14
ブックマーク
最初に対応すべきチェックリストの確認方法 組織とID ユーザーとグループ 管理者アクセス お支払い リソース階層 リソースのアクセス ネットワーキング モニタリングとロギング セキュリティ サポート こんにちは！G-genの小林です。 みなさんGoogle Cloudはご利用されてますでしょうか？ お客様とお話ししている中でGoogle Cloudを使ってみているけど、最初に何を設定してお