「Google Cloud」に関連する技術ブログ
企業やコミュニティが発信する「Google Cloud」に関連する技術ブログの一覧です。
全1206件中 886 - 900件目
ユニットテストで学ぶDataflowの基本
2022/09/28
ブックマーク
みなさんこんにちは、 電通国際情報サービス （ISID）コーポレート本部 システム推進部の佐藤太一です。 このエントリでは Google Dataflowを使ったデータ分析パイプライン構築において中心的な API の使い方について説明します。 Google Dataflowとはなにか Dataflowの開発環境構築 GradleによるDataflowプロジェクトの作り方 Apache Beamの基礎 Pipelineについて PCollectionについて ParDoを使
ユニットテストで学ぶDataflowの基本
2022/09/28
ブックマーク
みなさんこんにちは、 電通国際情報サービス （ISID）コーポレート本部 システム推進部の佐藤太一です。 このエントリでは Google Dataflowを使ったデータ分析パイプライン構築において中心的な API の使い方について説明します。 Google Dataflowとはなにか Dataflowの開発環境構築 GradleによるDataflowプロジェクトの作り方 Apache Beamの基礎 Pipelineについて PCollectionについて ParDoを使
Cloud StorageトリガでCloud Run functions(2nd gen)を動かしてみた
2022/09/26
ブックマーク
G-gen の杉村です。Google Cloud (旧称 GCP) の Cloud Run functions (第2世代) を使い Cloud Storage へファイルが配置されたことを起点に起動するプログラムを作ってみました。 前提知識 Cloud Storage と Cloud Run functions Cloud Storage トリガの Cloud Run functions とは 検証 やること ソースコード 実行結果 デプロイの手順 必要な API の有効化 Cloud Storage サービスエージェントに権限付与 トリガー用
Cloud Functions(Python)のログをCloud Loggingへ連携する
2022/09/20
ブックマーク
G-gen の杉村です。 Cloud Functions で Python プログラムを動作させる際に、ログをどのように扱い、出力させればよいかについてご紹介します。 Cloud Functions のログ出力 標準出力と標準 logger Cloud Logging ライブラリ ライブラリのインストール サンプルコード 実行結果 Cloud Functions のログ出力 標準出力と標準 logger Cloud Functions で動作するプログラムが標準出力に文字列を出力する
Google Cloud の組織のポリシーのまとめと検証
2022/09/16
ブックマーク
こんにちは、クラウドエースのシステム開発部/SREディビジョン所属の菊池と申します。 本記事では以下の記事を参考にして、Google Cloud の組織のポリシーを簡易にまとめてみました。 組織ポリシー サービスの概要 また、組織のポリシーを適用して検証させた記事も少なかったので、実際に組織ポリシーを適用させて検証しました。 検証では同じディビジョンの山﨑に協
Firebaseを徹底解説！
2022/09/16
ブックマーク
G-gen の佐々木です。当記事では Google Cloud のサービスではなく、同じく Google によって提供されている Firebase について解説していきます。 Firebase とは Firebase と Google Cloud の共通点・相違点 共通点 プロダクト プロジェクト 料金の請求 アクセス制御 利用規約 ユーザーアカウント 相違点 Firebase プロダクトの概要 Build プロダクト Release & Monitor プロダクト Engage プロダクト
全社共通データ基盤を廃止して新しいデータ基盤に引越した話
2022/09/15
ブックマーク
こんにちは、データ基盤の開発、運用をしていた谷口（ case-k ）です。最近は配信基盤の開発と運用をしています。 ZOZOではオンプレやクラウドにあるデータをBigQueryへ連携し、分析やシステムで活用しています。BigQueryに連携されたテーブルは共通データ基盤として全社的に利用されています。 共通データ基盤は随分前に作られたこともあり、様々な負債を抱えていまし
Stanby Analyticsの作成と、リアルタイム異常検知の仕組み
2022/09/14
ブックマーク
こんにちは。StanbyのDataPlatformグループでデータエンジニアをやっている陳です。 今回は、スタンバイ社が独自に開発しているリアルタイム分析プラットフォームのStanby Analyticsを紹介します。 Stanby Analyticsとは 何故Stanby Analyticsを作る事になったのか GAの廃止 Stanbyはサービス開始時からGoogle Analytics（ユニバーサル アナリティクス、以下UA）を使っており、UAをベースとした
カケハシがDatabricksを導入した背景と技術選定のポイント
2022/09/12
ブックマーク
初めまして、カケハシのデータ基盤チームでデータエンジニアしている大木と申します。 この度カケハシでは、全社的なデータ活用基盤のプラットフォームとしてDatabricksを採用し、2022/07より本格導入することとなりました。 当記事では、カケハシがDatabricksを採用するに至った技術選定の背景について紹介させていただきます。 ※カケハシのデータ基盤の組成のお話は
External Application Load Balancer (外部アプリケーションロードバランサ) を徹底解説！
2022/09/12
ブックマーク
G-gen の杉村です。 Google Cloud (旧称 GCP) の強力なネットワークインフラサービスである External Application Load Balancer (外部アプリケーションロードバランサ) について解説します。 サービスの概要 Cloud Load Balancing とは ロードバランサーの種類 名称変更 External Application Load Balancer とは 3 種類の External Application Load Balancer ユースケース 料金 Cloud Load Balancing の料金体系 計算例 計算
Identity-Aware Proxy(IAP)とCloud Armorを使用してCloud Runサービスへのアクセス制御を実装する
2022/09/09
ブックマーク
G-gen の佐々木です。当記事では、 Google Cloud (旧称: GCP ) の サーバーレスなコンテナ実行基盤である Cloud Run にデプロイしたサービスに対して、許可された Google アカウントだけがアクセスできるように、 Identity-Aware Proxy を用いたアクセス制限を設定していきます。 さらに、 Cloud Armor を使用することで、サービスのアクセス元ネットワークの IP アドレス範囲を制限します。
Windows Serverを完全日本語化してみた
2022/09/06
ブックマーク
G-gen の荒井です。 当記事ではGoogle Cloud (旧称 GCP) で汎用的に利用される Windows Server について、日本語化する手順をご紹介します。 なぜ日本語化が必要か システム環境 Windows Server 日本語化手順 手順1 日本語パックのインストールと適用 手順2 タイムゾーン 手順3 国と地域 手順4 システムロケール 手順5 表示言語と地域設定 手順6 ハードウェア キーボード レイアウト 手順7
Eventarcトリガーを利用してCloud StorageのファイルメタデータをBigQueryへ格納してみた
2022/09/05
ブックマーク
G-gen 又吉です。今回は Eventarcトリガーを利用して、Cloud Storage のファイルメタデータを BigQuery へ格納してみました。 概要 作成するもの Eventarcとは？ Cloud Strage の準備 Cloud Storage トリガーとは Cloud Storage サービス アカウントへの権限付与 ファイルアップロード用のバケットの作成 BigQuery のテーブル作成 Cloud Functions の作成 Cloud Functions の作成 main.py の内容 requirements.txt の内
eBPFに3日で入門した話
2022/09/02
ブックマーク
はじめに こんにちは、Platformチームの小森です。 eBPF (extended Berkley Packet Filter) について、2022年8月2日に開催された社内勉強会で発表しました。 eBPF はここ数年で注目が集まっている技術で、2021年には eBPF Foundationが設立 され、Facebook、Google、Isovalent、Microsoft、Netflixなどの大手IT企業が参画を進めています。 筆者は概要程度しか把握していなかったので、遅ればせながらキ
Google Cloud の「手動インポート機能」でサーバー移行してみた
2022/09/02
ブックマーク
G-gen の國﨑です。Google Cloud (旧称 GCP) の仮想サーバーサービスである Compute Engine へサーバーを移行する方法はいくつかあります。今回はその手法の一つである 手動インポート 機能を実際に使ってみました。 手動インポートとは？ 前提条件 移行元環境イメージ化 カスタムイメージ の作成 カスタムイメージからVMを構築 手動インポートとは？ Google Cloud の Compute Engine へサ