「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全521件中 421 - 435件目
Google Cloudの請求の仕組みを分かりやすく解説してみた
2021/10/18
ブックマーク
G-genの杉村です。Google Cloud (旧称 GCP) の 請求の仕組み について解説します。 基本的な概念 概念と用語 請求先アカウントとは お支払いプロファイル 複数のプロジェクトと請求 Google Cloud パートナーによる請求代行（課金代行） 請求代行の仕組み 注意点 便利な機能 課金の分析 予算アラート 課金データの BigQuery エクスポート AWS との違い 基本的な概念 概念と用語 当記事
Google Cloud(旧GCP)利用してみたい！けど最初に対応すべきことは？初期設定のベストプラクティスを解説！
2021/10/14
ブックマーク
最初に対応すべきチェックリストの確認方法 組織とID ユーザーとグループ 管理者アクセス お支払い リソース階層 リソースのアクセス ネットワーキング モニタリングとロギング セキュリティ サポート こんにちは！G-genの小林です。 みなさんGoogle Cloudはご利用されてますでしょうか？ お客様とお話ししている中でGoogle Cloudを使ってみているけど、最初に何を設定してお
BigQuery新機能がNext '21で発表！まさかのインデックス機能、スナップショット、クローン...
2021/10/13
ブックマーク
G-gen の杉村です。 Google Cloud Next '21 の What's new with BigQuery セッションで発表された新機能を、速報としてご紹介します。 BigQuery はじめに BigQuery Omni (GA) BigQuery Security & Governance for Data Lakes (Coming soon) BigQuery External Functions Analytics Hub (Preview) BigQuery Migration Service (Preview) BigQuery 管理系機能 Admin hub & Resource charts (GA) Slot estimator (Preview) BigQuery Slots Autoscaling (Coming soon) Table Snaphosts a
VPC Service Controlsを分かりやすく解説
2021/10/12
ブックマーク
G-genの杉村です。本投稿では、 Google Cloud (GCP) のセキュリティ系サービスの中でも特に重要な VPC Service Controls の概念について分かりやすく解説します。 VPC Service Controls とは VPC Service Controls って結局何ができるの？ できること できないこと API コールとは？ 構成例と仕様 想定構成図 境界の定義 境界の外から中へ（中から外へ）のアクセス VPC 内からのアクセス オンプレ
GCPの秩序を取り戻すための試み 〜新米GCP管理者の奮闘記〜
2021/09/07
ブックマーク
こんにちは。SRE部データ基盤チームの塩崎です。ZOZOテクノロジーズではGCPの管理を各プロジェクトのOwnerに任せていた時期が長く続いていましたが、今期から全社的なGCP管理者を立てることになりました。本記事では新米GCP管理者である僕が全社的なGCPの管理をする上で遭遇した事例を紹介します。時には泥臭い方法で、時にはプログラムの手を借りて自動化をし、数々
コンピュートとストレージの分離から紐解くBigQueryの権限モデル
2021/09/02
ブックマーク
こんにちは。SRE部DATA-SREチームの塩崎です。Software Design誌の2021年9月号に弊社でのBigQuery活用事例を寄稿しましたので、書店などで見かけた際は購入していただけますと嬉しいです。 gihyo.jp さて、BigQueryはコンピュートとストレージを分離することで高いスケーラビリティを達成しているData WareHouse(DWH)です。しかし、そのアーキテクチャを採用したがゆえに権限モデルが複
Apache AirflowのPoCをした話
2021/08/24
ブックマーク
# Apache AirflowのPoCをした話 はじめに 弊社『DELISH KITCHEN』のデータプラットフォーム上では、日々発生するデータをLakehouseプラットフォームに集約しており、Databricks上で処理される多数のETLジョブが存在しています。しかし、現在利用しているジョブ管理ツールでは、Databricksのジョブ同士の依存関係を細かく設定することが出来ず、実行ジョブが肥大化してしまう問題があ
エブリーでインターンをしています
2021/08/17
ブックマーク
はじめに はじめまして。 2021年2月から、インターンとしてデータ＆AIチームでデータエンジニア業務に携わっている金安です。 入社からの約半年間、データに関わる多種多様なタスクを経験させていただきました。 ここではエブリーでのデータ分析の様子を紹介するとともに、業務を通して学んだことを整理しようと思います。 いきさつ 私は大学で情報処理技術・人工
データの民主化を目指して ~ データ基盤ができるまで ~
2021/08/04
ブックマーク
こんにちは、データプラットフォームグループの樋口です。エンジニアとしてデータ基盤の構築・運用を約4年ほど担当しています。 今回は私達が「データの民主化」を目指してこれまでに取り組んできた事を振り返りながらご紹介したいと思います。 はじまり（2017年10月〜） 当時社内では以下のようなキーワードがトレンドでした。 データドリブン経営 データの民主
急成長するLINE配信対象ユーザー数にGCPアーキテクチャの改善で立ち向かった話
2021/07/28
ブックマーク
はじめに こんにちは、EC基盤本部・MA部・MA基盤チームでマーケティングオートメーションのシステムを開発している長澤（ @snagasawa_ ）です。この記事では、社内で運用しているLINEメッセージ配信基盤の課題を、アーキテクチャ改善によって解決した話をご紹介します。 当時、LINEメッセージ配信基盤では、配信処理を担っていたApp Engineで2つの課題を抱えていました。「
Ltech#18 AIで住まい探しをスムーズに！【おとり物件予測＆3D間取り】開催レポート
2021/07/19
ブックマーク
こんにちは。Ltech運営チームの河西です。今回は、2021年7月13日(火)に開催した「Ltech#18 AIで住まい探しをスムーズに！【おとり物件予測＆3D間取り】」についてレポートします。 lifull.connpass.com Ltechとは Ltech(エルテック)とは、LIFULLがお送りする、技術欲をFULLにするイベントです。特定の技術に偏らず、様々な技術の話を展開していく予定です。 AIで住まい探しをスムーズに
Flex Slotsを用いたBigQueryのコストパフォーマンス改善と運用
2021/07/12
ブックマーク
こんにちは、SRE部の谷口（ case-k ）です。私たちのチームではデータ基盤の開発や運用をしています。1年ほど前からBigQueryのコストパフォーマンス改善を目的にFlex Slotsを導入しています。 本記事ではFlex Slotsの導入効果や運用における注意点、ワークフロー設計についてご紹介します。BigQueryのコストやパフォーマンスで課題を抱えているチームや管理業務を行っている方
Google Apps Script× BigQuery × Googleスプレッドシート × データポータルで簡易CRMを作ってみた
2021/07/07
ブックマーク
こんにちは!! BASE BANK 株式会社 Dev Division にてSoftware Developerをしている永野( @glassmonkey )です。 普段はGo/Python/PHPを主に生業に開発・運用から何でもござれの精神でフルサイクルエンジニアをしています。 現在、自分たちのプロダクトである YELL BANK の分析基盤を構築しています。 その際に、BigQueryで扱っているデータをGoogle App Script(以下GAS)、Googleスプレッドシートとデータ
Core Web Vitals 改善のお話
2021/07/06
ブックマーク
Core Web Vitals 改善のお話 はじめに まずは計測してみる 弱点を特定する LCP の改善 無駄なリソースの読み込みを除去 http2 への切り替え 画像を適切なサイズで配信 改善したものの数値に影響がなかったもの 巨人の肩に乗る（大切） CLS の改善 CLS の算出アルゴリズムが変わったことで CLS が向上 スコアロジックにも変更あり 改善の結果 まとめ Core Web Vitals 改善のお話 はじめ
Workload Identityを使用して、AWS環境からGoogle Cloudリソースを作成する
2021/07/01
ブックマーク
こんにちは、上野です。 今回はGoogle Cloud関連の内容です。みなさまGoogle CloudのリソースをTerraformなどのIaCでデプロイする場合、どのように実行されていますか？ AWSがメイン処理＋Google Cloud（BigQueryなど一部）という構成を取ることがあり、AWS側でデプロイ管理もしようとすることも我々の現場では多いです。 Google CloudのリソースをAWSからデプロイする場合、Google Cloud側に