「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全390件中 256 - 270件目
全文検索 MySQL FULLTEXTインデックスからElasticsearchへ切り替えた話
2022/02/28
ブックマーク
はじめに こんにちは、レバレジーズ フリーランスHub開発チームです。 現在、弊社が運営する フリーランスHub というサービスでは検索エンジンとしてElasticsearchを採用しています。 この記事では、エンジニアがサービスの成長速度と工数を考慮した上で、Elasticsearchを採用するに至った背景や理由、そして、MySQLからElasticsearchへ移行した結果どれくらいパフォーマンスが改
キャディでの Streamlit 活用事例
2022/02/25
ブックマーク
こんにちは。ソフトウェアエンジニアの江良です。 普段は Web アプリケーションのコードをせっせと書いて暮らしているのですが、AI Lab の誕生に伴い、 機械学習 を専門とするエンジニアと協業する機会も増えてきました。 今回は、 機械学習 の研究開発プロジェクトで導入した Streamlit という フレームワーク について紹介しようと思います。 Streamlit とは Streamlit は Pytho
Google Cloud（旧GCP）無料で使ってみた！クラウド初心者もかんたんに開設、始め方大解説（前編：説明編）
2022/02/24
ブックマーク
こんにちは、G-genの荒井（@arapote）です。 みなさん、クラウドサーバーはご利用でしょうか？！ 既に利用されている企業様も多いかと思いますが、全国的に見たらまだまだオンプレサーバーを運用しているお客様も多くいらっしゃると思います。 今回はそんなオンプレサーバーを運用している方でも、かんたんにクラウドサーバーをさわっていただけるよう、無料でGoogle
GA4のアプリログ検証のため、SwfitUIでネイティブアプリを作成してみた
2022/02/18
ブックマーク
こんにちは、データアナリストの左海です。 最近アサインされたプロジェクトにてアプリ/WebのGoogle Analytics 4(以下GA4)での計測を検討していましたが、私自身アプリもGA4も知見がなかったため、SwiftUIでネイティブアプリを作成しログ検証を行うことにしました。 ※なお、Apple Developer Programを契約していないためiOS Simulatorを使用しています。 実行環境 XcodeのVersion：13.2.1 (13C1
BigQueryにおけるポリシータグを用いた秘密情報管理とデータ連携の仕組み
2022/02/18
ブックマーク
こんにちは、データ基盤の開発・運用をしている谷口（ case-k ）です。 本記事では、BigQueryで秘密情報を守るためのリソースである、ポリシータグをご紹介します。ポリシータグの概要から採用理由、仕様を考慮したデータ連携の仕組みや運用における注意点まで幅広くお伝えします。 ポリシータグとは ポリシータグを採用した理由 匿名化による機密性の高さ 機密性と
Google Workspace レポートと監査ログを解説！プランによって何が違う？
2022/02/09
ブックマーク
こんにちは G-gen の渡邉@norry です。 Goole Workspace を運用する際に管理者が特に気になる事の一つとして、セキュリティー関連のレポートや監査ログがあるかと思います。 常日頃のガバナンス管理、有事の際での証跡として...今回は Google Workspace でどういったログが取れるのかのご案内と、プランによっては取得出来ないログもありますのでその点にも触れます。 Google Workspa
Looker LookML Developer試験対策マニュアル。出題傾向・勉強方法
2022/02/07
ブックマーク
G-gen の杉村です。Google Cloud (旧称 GCP) 認定資格である Looker LookML Developer 試験 は、他の Google Cloud 認定試験とは一線を画し、かつては Google Cloud とは別プロダクトであった Looker の開発者向け認定資格です。 本投稿では試験の合格に役立つ情報を記載します。 ※ 当試験は 2022/04/01 をもって 廃止 となりました。しかしながら当記事は Looker の製品知識の取得に役立ててもらう
dbt x BigQueryを使ってみた
2022/01/31
ブックマーク
こんにちは、 エニグモ でデータサイエンティストをしている堀部です。 昨年末から使い始めたdbt x BigQueryについて共有します。 BigQuery歴2年、 SQL 歴5年ほどになります。 QUALIFY句が好きです。 dbtを使い始めたきっかけ 使ってみてよかった点 前処理〜特徴量生成の例 dbt_project.yml macro models Appendix：packageの利用 まとめ dbtを使い始めたきっかけ SQL での集計は嫌いではないの
Google Cloud 認定資格の一覧を解説。全部で何個ある？難易度は？
2022/01/31
ブックマーク
G-genの荒井（@arapote）です。当記事では Google Cloud 認定資格をご紹介します。Google Cloud を仕事で取り扱う方、興味があって調べている方向けに資格の概要をご紹介しますので、どんな資格が自分に必要か見定めて資格取得を目指していただければと思います。 はじめに Google Cloud 認定資格とは 認定資格のメリット 限定グッズ Google Cloud 認定資格の種類 Foundational レベル Cloud
タイミーのデータ基盤品質。これまでとこれから。
2022/01/24
ブックマーク
はじめに 以前のデータ基盤 3つの問題解決と振り返り 問題1: データパイプラインの更新遅延 解決策 実装 振り返り 問題2: 分析チームへのクエリ修正依頼の増加 解決策 実装 振り返り 問題3: ETLパイプラインにおける加工処理の負債 解決策 実装 振り返り これからの品質に関する改善 はじめに 初めまして、タイミーのDRE (Data Reliability Engineering) チームの土川( @tvtg_24 )です。
BigQueryのScheduled Queryでジョブ失敗を通知する3つの方法
2022/01/24
ブックマーク
G-gen の杉村です。 BigQuery の Scheduled Query (スケジュールされたクエリ) で自動実行するクエリの、ジョブ失敗通知を行う方法について解説します。 はじめに 3つの方法 1. メール通知機能 2. Pub/Sub 3. ログベースの指標 ログベースの指標とアラートの作成手順 ログベースの指標とは 手順 1: ログベースの指標作成 手順 2: アラートの作成 メール通知の例と課題 Scheduled Query の限
BeyondCorp Enterpriseを徹底解説。 Googleで実現するゼロトラスト・セキュリティ
2022/01/17
ブックマーク
G-gen の杉村です。情報セキュリティの世界で ゼロトラスト というキーワードが半ばバズワードのように取り上げられるようになってから久しくなりました。Google のゼロトラスト・ソリューションとして BeyondCorp Enterprise があります。 当記事の前半では、BeyondCorp の基本的な概念や構成を説明します。後半 (第4項以降) は、BeyondCorp の各構成要素を詳細に説明しますので、
ABテストとは？タイミーでのABテスト事例紹介
2022/01/13
ブックマーク
はじめに プロダクトチームの克海です。PdMの補佐をしながらプロダクトのデータアナリストをしています。 本記事ではアプリでのABを始めようといしている方に向けてのABテストの実施の流れと事例についてまとめた記事になります。 ABテストとは？ ABテストとはランダム化比較試験ともいれる実験手法です。検証対象をランダムにグループ化して別々の介入をすること
OSS「Coppe」の公開 〜 BigQuery基盤のデータ監視ツールによるデータ品質担保
2022/01/05
ブックマーク
はじめに こんにちは、データシステム部データ基盤ブロックの纐纈です。9月から22卒内定者として、チームにジョインしました。 本記事では、弊社のデータ基盤チームが抱えていた課題と、その解決のために公開したOSSツール「Coppe」を紹介します。Coppeは、以下のような方にお勧めできるツールです。 BigQueryを使用したデータ基盤の監視に興味がある BigQueryの監視ツー
Professional Data Engineer試験対策マニュアル。出題傾向・勉強方法
2021/12/27
ブックマーク
G-gen の杉村です。Google Cloud (旧称 GCP) 認定資格である Professional Data Engineer 試験 は、 Google Cloud でのデータエンジニアリングに関する難関資格です。当記事では試験の合格に役立つ情報を記載します。 はじめに 当記事の内容 当記事の想定読者 Professional Data Engineer 試験の難易度 推奨の勉強法 出題傾向 組織 / IAM オペレーションスイート 基本 注目すべきメトリクス データパ