「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全389件中 286 - 300件目
Kubeflow PipelinesからVertex Pipelinesへの移行による運用コスト削減
2021/10/26
ブックマーク
こんにちは、技術本部 データシステム部 MLOpsブロックの平田（ @TrsNium ）です。約2年半ぶりの執筆となる今回の記事では、MLOps向け基盤を「Kubeflow Pipelines」から「Vertex Pieplines」へ移行して運用コストを削減した取り組みを紹介します。 目次 目次 はじめに Vertex Pipelinesとは Vertex Pipelinesへの移行 Vertex Pipelinesへ移行するワークフロー 1. ワークフローのKubeflow Pipelines SDK V2への
Cloud Audit Logsを解説。Google Cloud(GCP)の証跡管理
2021/10/25
ブックマーク
杉村です。Google Cloud (旧称 GCP) では Cloud Audit Logs (Cloud Audit Logging) という仕組みで、自動的に API コールの履歴が記録されています。しかし一部のログは有効化しなければ記録されないなど、中身を正しく理解しておく必要があります。当記事ではこの Cloud Audit Logs を解説します。 Cloud Audit Logs の基本 Cloud Audit Logs とは API コールとは Cloud Audit Logs で記録できるログ ログの出
限定公開の Google アクセスの仕組みと手順をきっちり解説
2021/10/21
ブックマーク
G-genの杉村です。 限定公開の Google アクセス (Private Google Access) を使うと Google Cloud サービスの API に External IP を持っていない VM からでもアクセスできるようになります。当記事では、この機能を詳細に解説します。 限定公開の Google アクセスとは 仕様 利用するドメイン名 "利用するドメイン名" の意味 デフォルトのドメイン名を利用する private.googleapis.com / restricted.googleapi
Google Cloudの請求の仕組みを分かりやすく解説してみた
2021/10/18
ブックマーク
G-genの杉村です。Google Cloud (旧称 GCP) の 請求の仕組み について解説します。 基本的な概念 概念と用語 請求先アカウントとは お支払いプロファイル 複数のプロジェクトと請求 Google Cloud パートナーによる請求代行（課金代行） 請求代行の仕組み 注意点 便利な機能 課金の分析 予算アラート 課金データの BigQuery エクスポート AWS との違い 基本的な概念 概念と用語 当記事
Google Cloud(旧GCP)利用してみたい！けど最初に対応すべきことは？初期設定のベストプラクティスを解説！
2021/10/14
ブックマーク
最初に対応すべきチェックリストの確認方法 組織とID ユーザーとグループ 管理者アクセス お支払い リソース階層 リソースのアクセス ネットワーキング モニタリングとロギング セキュリティ サポート こんにちは！G-genの小林です。 みなさんGoogle Cloudはご利用されてますでしょうか？ お客様とお話ししている中でGoogle Cloudを使ってみているけど、最初に何を設定してお
BigQuery新機能がNext '21で発表！まさかのインデックス機能、スナップショット、クローン...
2021/10/13
ブックマーク
G-gen の杉村です。 Google Cloud Next '21 の What's new with BigQuery セッションで発表された新機能を、速報としてご紹介します。 BigQuery はじめに BigQuery Omni (GA) BigQuery Security & Governance for Data Lakes (Coming soon) BigQuery External Functions Analytics Hub (Preview) BigQuery Migration Service (Preview) BigQuery 管理系機能 Admin hub & Resource charts (GA) Slot estimator (Preview) BigQuery Slots Autoscaling (Coming soon) Table Snaphosts a
VPC Service Controlsを分かりやすく解説
2021/10/12
ブックマーク
G-genの杉村です。本投稿では、 Google Cloud (GCP) のセキュリティ系サービスの中でも特に重要な VPC Service Controls の概念について分かりやすく解説します。 VPC Service Controls とは VPC Service Controls って結局何ができるの？ できること できないこと API コールとは？ 構成例と仕様 想定構成図 境界の定義 境界の外から中へ（中から外へ）のアクセス VPC 内からのアクセス オンプレ
GCPの秩序を取り戻すための試み 〜新米GCP管理者の奮闘記〜
2021/09/07
ブックマーク
こんにちは。SRE部データ基盤チームの塩崎です。ZOZOテクノロジーズではGCPの管理を各プロジェクトのOwnerに任せていた時期が長く続いていましたが、今期から全社的なGCP管理者を立てることになりました。本記事では新米GCP管理者である僕が全社的なGCPの管理をする上で遭遇した事例を紹介します。時には泥臭い方法で、時にはプログラムの手を借りて自動化をし、数々
コンピュートとストレージの分離から紐解くBigQueryの権限モデル
2021/09/02
ブックマーク
こんにちは。SRE部DATA-SREチームの塩崎です。Software Design誌の2021年9月号に弊社でのBigQuery活用事例を寄稿しましたので、書店などで見かけた際は購入していただけますと嬉しいです。 gihyo.jp さて、BigQueryはコンピュートとストレージを分離することで高いスケーラビリティを達成しているData WareHouse(DWH)です。しかし、そのアーキテクチャを採用したがゆえに権限モデルが複
Apache AirflowのPoCをした話
2021/08/24
ブックマーク
# Apache AirflowのPoCをした話 はじめに 弊社『DELISH KITCHEN』のデータプラットフォーム上では、日々発生するデータをLakehouseプラットフォームに集約しており、Databricks上で処理される多数のETLジョブが存在しています。しかし、現在利用しているジョブ管理ツールでは、Databricksのジョブ同士の依存関係を細かく設定することが出来ず、実行ジョブが肥大化してしまう問題があ
エブリーでインターンをしています
2021/08/17
ブックマーク
はじめに はじめまして。 2021年2月から、インターンとしてデータ＆AIチームでデータエンジニア業務に携わっている金安です。 入社からの約半年間、データに関わる多種多様なタスクを経験させていただきました。 ここではエブリーでのデータ分析の様子を紹介するとともに、業務を通して学んだことを整理しようと思います。 いきさつ 私は大学で情報処理技術・人工
データの民主化を目指して ~ データ基盤ができるまで ~
2021/08/04
ブックマーク
こんにちは、データプラットフォームグループの樋口です。エンジニアとしてデータ基盤の構築・運用を約4年ほど担当しています。 今回は私達が「データの民主化」を目指してこれまでに取り組んできた事を振り返りながらご紹介したいと思います。 はじまり（2017年10月〜） 当時社内では以下のようなキーワードがトレンドでした。 データドリブン経営 データの民主
急成長するLINE配信対象ユーザー数にGCPアーキテクチャの改善で立ち向かった話
2021/07/28
ブックマーク
はじめに こんにちは、EC基盤本部・MA部・MA基盤チームでマーケティングオートメーションのシステムを開発している長澤（ @snagasawa_ ）です。この記事では、社内で運用しているLINEメッセージ配信基盤の課題を、アーキテクチャ改善によって解決した話をご紹介します。 当時、LINEメッセージ配信基盤では、配信処理を担っていたApp Engineで2つの課題を抱えていました。「
Ltech#18 AIで住まい探しをスムーズに！【おとり物件予測＆3D間取り】開催レポート
2021/07/19
ブックマーク
こんにちは。Ltech運営チームの河西です。今回は、2021年7月13日(火)に開催した「Ltech#18 AIで住まい探しをスムーズに！【おとり物件予測＆3D間取り】」についてレポートします。 lifull.connpass.com Ltechとは Ltech(エルテック)とは、LIFULLがお送りする、技術欲をFULLにするイベントです。特定の技術に偏らず、様々な技術の話を展開していく予定です。 AIで住まい探しをスムーズに
Flex Slotsを用いたBigQueryのコストパフォーマンス改善と運用
2021/07/12
ブックマーク
こんにちは、SRE部の谷口（ case-k ）です。私たちのチームではデータ基盤の開発や運用をしています。1年ほど前からBigQueryのコストパフォーマンス改善を目的にFlex Slotsを導入しています。 本記事ではFlex Slotsの導入効果や運用における注意点、ワークフロー設計についてご紹介します。BigQueryのコストやパフォーマンスで課題を抱えているチームや管理業務を行っている方