DataflowとBigQueryで始める大規模データ分析基盤実装入門

2022年9月26日に開催されたオンラインイベントのアーカイブ動画となります。

イベントページ：https://techplay.jp/event/870967

-------------------------

▼イベント概要

イントラネットにあふれかえる大量のデータを意味のある情報として分析してみませんか？

専門的な知識をもった人材はいないし、そんなことができる高度なサーバもない。

加えて、何の役に立つのか分からないデータ分析に大きな予算は取りづらい。

とはいえ、日々増え続けるデータを情報として分析できれば何か見えてくることがあるかもしれない。

そんな風に考えられるなら、日々の業務のかたわらで、

ちょっとした予算で少しずつ時間を確保してデータ分析基盤を作りましょう。

パブリッククラウドのGoogle Cloudならサーバリソースは使った分だけお金を払えばいいし、

使わない時は止めておけばお金はかかりません。

このセミナーが対象とするのは、ちょっとしたシェルスクリプトとJavaの読み書きができる

二、三人の小さな兼務のチームです。

セミナーでは、データ分析基盤構築における基本的な考え方から説明し始めて、

アーキテクチャ設計や、具体的なツール類の使い方、

コードの書き方、運用におけるコスト観まで全てのノウハウを共有します。

一時間程度のセミナーを理解出来たら、

あなたも簡単なプログラムでテラバイトクラスのデータをGoogle Cloud StorageからDataflowを使って

BigQueryに転送できるようになれるでしょう。

【登壇内容※一部抜粋】

・データ分析基盤構築における考え方

・rcloneでイントラネットからGoogle Cloud Storageへ

・Dataflowによるパイプライン構築基礎

・BigQueryにおけるテーブル設計の基本