「Google Cloud」に関連する技術ブログ
企業やコミュニティが発信する「Google Cloud」に関連する技術ブログの一覧です。
全1051件中 811 - 825件目
Cloud Functionsローカル環境(Functions Framework)でPub/Subトリガのイベント関数を検証する方法
2022/05/30
ブックマーク
こんにちは、G-gen の武井です。今回は Google Cloud (旧称 GCP) の Cloud Functions ローカル実行環境 (Functions Framework) で、 Pub/Sub トリガのイベント関数を検証する方法 について紹介したいと思います。 検証イメージ Pub/Sub エミュレータのセットアップ 1. Pub/Sub エミュレータのインストール 2. gcloud コンポーネントのアップグレード 3. Pub/Sub エミュレータの起動 4. Pub/Sub エミュレータ
BigQuery OmniでAmazon S3のデータをクエリしてみた
2022/05/25
ブックマーク
G-genの大津です。 Google Cloud (旧称 GCP) において Amazon S3 にあるデータを BigQuery に取り込む方法のひとつとして、 BigQuery Omni があります。 BigQuery Omni を使うと、 Amazon S3 を外部データソースとして、 BigQuery からクエリを実行することができます。 今回は BigQuery Omni の使い方や注意点などをまとめてみました。 BigQuery Omni とは AWS側での操作 Amazon S3にデータを用意する IAMポリ
KaggleのH&M Personalized Fashion Recommendationsで11位金メダルを獲得しました
2022/05/24
ブックマーク
はじめに こんにちは！若月と申します。 Kaggleで2022/02/07~2022/05/09の間に開かれたH&M
1ペタバイトのデータセットで機械学習する / WebDataset入門
2022/05/23
ブックマーク
深層学習をする上で、最も大切なマシンスペックを聞かれたら何と答えますか? GPUのTensor性能、VRAM、GPUの数、CPU性能、メモリ、… 問題によって正解は異なりますね。 しかし、特に大規模なデータセットで機械学習する場合では、しばしばネットワーク帯域とストレージシステムのディスクI/Oによって制限されます。この記事ではそのような課題に対して、学習側でどのよ
BigQuery「承認されたビュー」と「承認されたデータセット」
2022/05/23
ブックマーク
G-gen の杉村です。 Google Cloud (旧称 GCP) の BigQuery にはアクセス制御のための仕組みが多数存在します。その中でも 承認されたビュー と 承認されたデータセット というよく似た名前の2つの機能をご紹介します。 この機能を使うと、利用者に見せるデータの範囲 (カラムやレコード) を制限したり、 BigQuery の IAM 管理運用を楽にしたりすることができます。 BigQuery へのアク
BigQueryで時を遡って過去のテーブルを再構成する
2022/05/17
ブックマーク
はじめに こんにちは、データシステム部データ基盤ブロックSREの纐纈です。 本記事では、過去に遡ってBigQueryのデータを参照する方法（以下、タイムトラベルと呼びます）をご紹介します。また、この機能はBigQueryが提供している、変更または削除されたデータにアクセスする タイムトラベル とは異なることをご了承ください。 開発背景 この機能は過去データを日次ス
Google CloudのVPCを徹底解説！(応用編)
2022/05/16
ブックマーク
G-gen の杉村です。当記事では Google Cloud (旧称 GCP) の Virtual Private Cloud (VPC) について徹底解説します。今回は 基本編 に続く 応用編 の記事となります。 基本編へのリンク VPC 間・サブネット間の通信 同一 VPC 内のサブネット間通信 VPC 間の通信 VPC ネットワークピアリング VPC ネットワークピアリングとは 利点 制限 Cloud VPN による推移的な通信 (カスタムルート広報) 共有 VPC G
Cloud Functions の関数をローカルで検証できる Functions Framework のインストール方法
2022/05/12
ブックマーク
こんにちは、G-gen の武井です。今回は Google Cloud (旧称 GCP) で Cloud Functions の関数をローカルで検証できる Functions Framework のインストール方法について紹介したいと思います。 cloud.google.com 前提条件 1. Linux 開発環境 を有効化 2. gcloud コマンドのインストール・初期化 Functions Framework の導入 1. venv・pip3 のインストール 2. venv 仮想環境の作成 3. Functions Framework のインストール 動
Google CloudのVPCを徹底解説！(基本編)
2022/05/09
ブックマーク
G-gen の杉村です。当記事では Google Cloud (旧称 GCP) の Virtual Private Cloud (VPC) について徹底解説します。なお当記事は VPC の基本機能に絞った 基本編 であり 応用編 も続けてご確認ください。 Virtual Private Cloud (VPC) とは ネットワークとサブネット ネットワーク サブネット サブネットの IP アドレス サブネット作成モード VPC 間接続 オンプレミスや他のクラウドとの接続 ルート
Fluent Bitを利用したログルーティング - 入門編
2022/05/09
ブックマーク
こんにちは、 電通国際情報サービス デジタル イノベーション 1部の加世です。 今回は「FluentBitを利用したログルーティング」を進める際に、「FluentBitについて理解する」ことを目的とした記事となっております。 具体的なFluentBitの使い所や設計を考える前段階として、本記事を参考にしていただければと思います。 Fluent Bitについて Fluent Bitの特徴 検証環境と処理フロ
ChromebookからIAP経由でCompute EngineのWindows ServerへRDPする方法
2022/05/02
ブックマーク
G-gen の杉村です。Chromebook (Chrome OS) から Cloud IAP のトンネリング機能を使い、 Compute Engine の Windows Server へリモートデスクトップ (RDP) する方法について紹介します。 なお IAP による VM への接続自体が何か、ということについては、以下のブログ記事で詳細に解説していますのでご参照ください。 blog.g-gen.co.jp 前提作業 1. Linux 開発環境の有効化 2. gcloud コマンドのインストー
Professional Google Workspace Administrator試験対策マニュアル
2022/04/26
ブックマーク
G-gen の杉村です。 Google Cloud (GCP) 認定試験の一つである Professional Google Workspace Administrator 試験 (旧称 Professional Collaboration Engineer) は、 Google の提供するグループウェアである Google Workspace の専門知識を問う試験です。当記事では試験合格に役立つ内容をご紹介します。 はじめに Professional Google Workspace Administrator とは 難易度 学習方法 注意点・出題傾向 ディレクトリ設計・管
新卒がデータマート品質モニタリングシステムを0から創り、社内に展開して表彰された話
2022/04/25
ブックマーク
はじめに 初めまして、株式会社リクルートでデータプランナーとして勤務する酒井と申します。 2020年度新卒でリクルートに入り
BigQuery Reservations(flat-rate pricing)を解説
2022/04/25
ブックマーク
G-gen の杉村です。当記事は「BigQuery Reservation (Flat-rate pricing)」について説明する記事です。 注意 : BigQuery の料金体系について BigQuery Reservations とは 用語 コミットメント (Commitment) 予約 (Reservation) 割り当て (Assignment) 料金 BigQuery Reservation の料金 購入是非の判断 安くなるのか？ 制限 応用 管理プロジェクト スロットスケジューリングとアイドルスロット モニタリング 注意 : B
【オンラインMeetup イベントレポート】Data Engineering Meetup 【ZOZO × GMOペパボ】
2022/04/22
ブックマーク
こんにちは、ZOZO CTOブロックの @ikkou です。 ZOZOでは、4/20に Data Engineering Meetup をGMOペパボさんと共催しました。 zozotech-inc.connpass.com 本イベントではto C向けサービスを提供する2社が、各社のData Engineering事情や直近の取り組みについて発表しました。 登壇内容 まとめ 前半にGMOペパボさんから2名が、後半に弊社から2名が登壇しました。 「データ"抽出"基盤 Yeti をつくってい