「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全521件中 391 - 405件目
BigQueryにおけるポリシータグを用いた秘密情報管理とデータ連携の仕組み
2022/02/18
ブックマーク
こんにちは、データ基盤の開発・運用をしている谷口（ case-k ）です。 本記事では、BigQueryで秘密情報を守るためのリソースである、ポリシータグをご紹介します。ポリシータグの概要から採用理由、仕様を考慮したデータ連携の仕組みや運用における注意点まで幅広くお伝えします。 ポリシータグとは ポリシータグを採用した理由 匿名化による機密性の高さ 機密性と
Google Workspace レポートと監査ログを解説！プランによって何が違う？
2022/02/09
ブックマーク
こんにちは G-gen の渡邉@norry です。 Goole Workspace を運用する際に管理者が特に気になる事の一つとして、セキュリティー関連のレポートや監査ログがあるかと思います。 常日頃のガバナンス管理、有事の際での証跡として...今回は Google Workspace でどういったログが取れるのかのご案内と、プランによっては取得出来ないログもありますのでその点にも触れます。 Google Workspa
Looker LookML Developer試験対策マニュアル。出題傾向・勉強方法
2022/02/07
ブックマーク
G-gen の杉村です。Google Cloud (旧称 GCP) 認定資格である Looker LookML Developer 試験 は、他の Google Cloud 認定試験とは一線を画し、かつては Google Cloud とは別プロダクトであった Looker の開発者向け認定資格です。 本投稿では試験の合格に役立つ情報を記載します。 ※ 当試験は 2022/04/01 をもって 廃止 となりました。しかしながら当記事は Looker の製品知識の取得に役立ててもらう
dbt x BigQueryを使ってみた
2022/01/31
ブックマーク
こんにちは、 エニグモ でデータサイエンティストをしている堀部です。 昨年末から使い始めたdbt x BigQueryについて共有します。 BigQuery歴2年、 SQL 歴5年ほどになります。 QUALIFY句が好きです。 dbtを使い始めたきっかけ 使ってみてよかった点 前処理〜特徴量生成の例 dbt_project.yml macro models Appendix：packageの利用 まとめ dbtを使い始めたきっかけ SQL での集計は嫌いではないの
Google Cloud 認定資格の一覧を解説。全部で何個ある？難易度は？
2022/01/31
ブックマーク
G-genの荒井（@arapote）です。当記事では Google Cloud 認定資格をご紹介します。Google Cloud を仕事で取り扱う方、興味があって調べている方向けに資格の概要をご紹介しますので、どんな資格が自分に必要か見定めて資格取得を目指していただければと思います。 はじめに Google Cloud 認定資格とは 認定資格のメリット 限定グッズ Google Cloud 認定資格の種類 Foundational レベル Cloud
タイミーのデータ基盤品質。これまでとこれから。
2022/01/24
ブックマーク
はじめに 以前のデータ基盤 3つの問題解決と振り返り 問題1: データパイプラインの更新遅延 解決策 実装 振り返り 問題2: 分析チームへのクエリ修正依頼の増加 解決策 実装 振り返り 問題3: ETLパイプラインにおける加工処理の負債 解決策 実装 振り返り これからの品質に関する改善 はじめに 初めまして、タイミーのDRE (Data Reliability Engineering) チームの土川( @tvtg_24 )です。
BigQueryのScheduled Queryでジョブ失敗を通知する3つの方法
2022/01/24
ブックマーク
G-gen の杉村です。 BigQuery の Scheduled Query (スケジュールされたクエリ) で自動実行するクエリの、ジョブ失敗通知を行う方法について解説します。 はじめに 3つの方法 1. メール通知機能 2. Pub/Sub 3. ログベースの指標 ログベースの指標とアラートの作成手順 ログベースの指標とは 手順 1: ログベースの指標作成 手順 2: アラートの作成 メール通知の例と課題 Scheduled Query の限
BeyondCorp Enterpriseを徹底解説。 Googleで実現するゼロトラスト・セキュリティ
2022/01/17
ブックマーク
G-gen の杉村です。情報セキュリティの世界で ゼロトラスト というキーワードが半ばバズワードのように取り上げられるようになってから久しくなりました。Google のゼロトラスト・ソリューションとして BeyondCorp Enterprise があります。 当記事の前半では、BeyondCorp の基本的な概念や構成を説明します。後半 (第4項以降) は、BeyondCorp の各構成要素を詳細に説明しますので、
ABテストとは？タイミーでのABテスト事例紹介
2022/01/13
ブックマーク
はじめに プロダクトチームの克海です。PdMの補佐をしながらプロダクトのデータアナリストをしています。 本記事ではアプリでのABを始めようといしている方に向けてのABテストの実施の流れと事例についてまとめた記事になります。 ABテストとは？ ABテストとはランダム化比較試験ともいれる実験手法です。検証対象をランダムにグループ化して別々の介入をすること
OSS「Coppe」の公開 〜 BigQuery基盤のデータ監視ツールによるデータ品質担保
2022/01/05
ブックマーク
はじめに こんにちは、データシステム部データ基盤ブロックの纐纈です。9月から22卒内定者として、チームにジョインしました。 本記事では、弊社のデータ基盤チームが抱えていた課題と、その解決のために公開したOSSツール「Coppe」を紹介します。Coppeは、以下のような方にお勧めできるツールです。 BigQueryを使用したデータ基盤の監視に興味がある BigQueryの監視ツー
Professional Data Engineer試験対策マニュアル。出題傾向・勉強方法
2021/12/27
ブックマーク
G-gen の杉村です。Google Cloud (旧称 GCP) 認定資格である Professional Data Engineer 試験 は、 Google Cloud でのデータエンジニアリングに関する難関資格です。当記事では試験の合格に役立つ情報を記載します。 はじめに 当記事の内容 当記事の想定読者 Professional Data Engineer 試験の難易度 推奨の勉強法 出題傾向 組織 / IAM オペレーションスイート 基本 注目すべきメトリクス データパ
高性能分散SQLエンジン「Trino」最速ガイド
2021/12/22
ブックマーク
こんにちは。なんの因果か NTTコミュニケーションズのエバンジェリスト をやっている 西塚 です。 この記事は、 NTT Communications Advent Calendar 2021 22日目の記事です。 5分でわかる「Trino」 「Trino」は、異なるデータソースに対しても高速でインタラクティブに分析ができる高性能分散SQLエンジンです。 以下の特徴を持っており、ビッグデータ分析を支える重要なOSS(オープン
プロダクトのデリバリー、クオリティに責任を持つEngineering Program Managerという役割
2021/12/21
ブックマーク
この記事は BASEアドベントカレンダー 21日目の記事です。 まえがき BASE BANK株式会社でエンジニア兼Engineering Program Managerをやっている 松雪( @applepine1125 ) と 永野( @glassmonekey ) です。 BASE BANKでは組織の拡大に伴って表出した課題を解決するために、プロダクトのデリバリー、クオリティに責任を持つEngineering Program Manager(以下EPM)という役割を導入しています。 今回はまだ馴染
Associate Cloud Engineer試験対策マニュアル。出題傾向・勉強方法
2021/12/21
ブックマーク
G-gen の杉村です。当記事では Google Cloud (旧称 GCP) の認定試験の中でも基本的なレベルの内容である Associate Cloud Engineer 試験 の合格に役立つ情報を記載します。 とはいえ、 試験の 利用規約 において、試験の内容を公開することは禁じられています。本投稿では試験問題そのものを書くこと等はせず、主にサービスカットで 合格するためには何を知っているべきか を中心
GitHub Copilotでブログ記事書いてみた
2021/12/18
ブックマーク
本記事は 電通国際情報サービス Advent Calendar 2021 の18日目のポストです。 （本記事の太字部分は、 GitHub Copilotで補完された箇所です。その仕組みや感想などは記事の後半で説明します。） こんにちは。ISID X イノベーション 本部の半田です。普段は 社内向けの構成管理サービスの運用 をやっています。 今年の6月末、 GitHub は「関数名とコメントから、関数の ソースコー