はじめに こんにちは！若月と申します。 Kaggleで2022/02/07~2022/05/09の間に開かれたH&M

深層学習をする上で、最も大切なマシンスペックを聞かれたら何と答えますか? GPUのTensor性能、VRAM、GPUの数、CPU性能、メモリ、… 問題によって正解は異なりますね。 しかし、特に大規模なデータセットで機械学習する場合では、しばしばネットワーク帯域とストレージシステムのディスクI/Oによって制限されます。この記事ではそのような課題に対して、学習側でどのようにデータを扱うかを見ていきたいと思います。 1. この記事は? こんにちは、TURING MLチームです。TURINGはEnd-to-End

G-gen の杉村です。BigQuery にはアクセス制御のための仕組みが多数存在します。その中でも、 承認済みビュー と 承認済みデータセット というよく似た名前の2つの機能をご紹介します。 はじめに 当記事について BigQuery へのアクセス制御について 訳語 承認済みビュー 承認済みビューとは ユースケース 設定手順 制約 承認済みデータセット 承認済みデータセットとは ユースケース 設定手順 制約 はじめに 当記事について Google Cloud（旧称 GCP）の BigQuery には、

はじめに こんにちは、データシステム部データ基盤ブロックSREの纐纈です。 本記事では、過去に遡ってBigQueryのデータを参照する方法（以下、タイムトラベルと呼びます）をご紹介します。また、この機能はBigQueryが提供している、変更または削除されたデータにアクセスする タイムトラベル とは異なることをご了承ください。 開発背景 この機能は過去データを日次スナップショットより細かい粒度で見たい、また障害対応時に障害発生前などピンポイントで時間指定して参照したいという要望を受け、開発することになりまし

G-gen の杉村です。当記事では Google Cloud（旧称 GCP）の Virtual Private Cloud （VPC）について徹底解説します。当記事は、VPC の基本的な仕様を解説した「 基本編 」に続く「 応用編 」です。 基本編へのリンク VPC 間通信・サブネット間通信 同一 VPC 内のサブネット間通信 VPC 間の通信 VPC ネットワークピアリング VPC ネットワークピアリングとは 利点 制限 Cloud VPN による推移的な通信（カスタムルート広報） 共有 VPC 共有

こんにちは、G-gen の武井です。今回は Google Cloud (旧称 GCP) で Cloud Functions の関数をローカルで検証できる Functions Framework のインストール方法について紹介したいと思います。 cloud.google.com 前提条件 1. Linux 開発環境 を有効化 2. gcloud コマンドのインストール・初期化 Functions Framework の導入 1. venv・pip3 のインストール 2. venv 仮想環境の作成 3. Fu

G-gen の杉村です。当記事では Google Cloud の Virtual Private Cloud（略称 VPC）について徹底解説します。なお当記事は VPC の基本機能に絞った「 基本編 」です。「 応用編 」もあわせてご参照ください。 Virtual Private Cloud（VPC）とは ネットワークとサブネット ネットワーク サブネット サブネットの IP アドレス サブネット作成モード VPC 間接続 オンプレミスや他のクラウドとの接続 ルート ファイアウォール（Cloud NGFW

こんにちは、 電通国際情報サービス デジタル イノベーション 1部の加世です。 今回は「FluentBitを利用したログルーティング」を進める際に、「FluentBitについて理解する」ことを目的とした記事となっております。 具体的なFluentBitの使い所や設計を考える前段階として、本記事を参考にしていただければと思います。 Fluent Bitについて Fluent Bitの特徴 検証環境と処理フローについて Fluent Bit設計前の準備 データパイプラインの理解 データの構造化について まとめ

G-gen の杉村です。Chromebook（Chrome OS）から Cloud IAP のトンネリング機能を使い、 Compute Engine の Windows Server へリモートデスクトップ（RDP）する方法について紹介します。 前提知識 前提作業 1. Linux 開発環境の有効化 2. gcloud コマンドのインストール・初期化 トンネル確立とRDP 1. Linux コンテナの IP アドレスを確認 2. 変数設定と IAP トンネル確立 3. リモートデスクトップ接続 トラブルシ

G-gen の杉村です。かつて公開されていた Google Cloud（GCP）認定試験である Professional Google Workspace Administrator 試験（旧称 Professional Collaboration Engineer）の受験に向けて、役立つ内容をご紹介します。 ※ 当試験は2025年1月に 廃止 されました。しかしながら当記事は Google Workspace の製品知識の取得に役立ててもらう意味を込めて、公開のままとさせていただきます。 現在は後継資格

はじめに 初めまして、株式会社リクルートでデータプランナーとして勤務する酒井と申します。 2020年度新卒でリクルートに入り

G-gen の杉村です。当記事は「BigQuery Reservation (Flat-rate pricing)」について説明する記事です。 注意 : BigQuery の料金体系について BigQuery Reservations とは 用語 コミットメント (Commitment) 予約 (Reservation) 割り当て (Assignment) 料金 BigQuery Reservation の料金 購入是非の判断 安くなるのか？ 制限 応用 管理プロジェクト スロットスケジューリングとアイド

こんにちは、ZOZO CTOブロックの @ikkou です。 ZOZOでは、4/20に Data Engineering Meetup をGMOペパボさんと共催しました。 zozotech-inc.connpass.com 本イベントではto C向けサービスを提供する2社が、各社のData Engineering事情や直近の取り組みについて発表しました。 登壇内容 まとめ 前半にGMOペパボさんから2名が、後半に弊社から2名が登壇しました。 「データ"抽出"基盤 Yeti をつくっている話」 (GMOペパ

G-gen の杉村です。 Google Cloud（旧称 GCP）におけるアプリケーション開発者向けの認定資格である Professional Cloud Developer 試験の勉強方法や出題傾向など、合格に向け役立つ情報をご紹介します。 試験情報 Professional Cloud Developer 試験とは Professional Cloud Developer 試験の難易度 Professional Cloud Developer 試験の勉強方法 出題範囲と傾向 マイクロサービスアーキテク

はじめに こんにちは。ブランドソリューション開発本部 WEAR部 SREの笹沢（ @sasamuku ）です。 FAANS はショップスタッフの効率的な販売をサポートするスタッフ専用ツールです。FAANSの一部機能は既にリリースされており全国の店舗で利用いただいております。正式リリースに向け、 WEAR と連携したコーディネート投稿機能やその成果をチェックできる機能などを開発中です。 FAANSのコンテナ基盤にはCloud Runを採用しており、昨年に SREとしての取り組み をテックブログでご紹介しまし