DataflowとBigQueryで始める大規模データ分析基盤実装入門

概要

イントラネットにあふれかえる大量のデータを意味のある情報として分析してみませんか？

専門的な知識をもった人材はいないし、そんなことができる高度なサーバもない。
加えて、何の役に立つのか分からないデータ分析に大きな予算は取りづらい。
とはいえ、日々増え続けるデータを情報として分析できれば何か見えてくることがあるかもしれない。

そんな風に考えられるなら、日々の業務のかたわらで、
ちょっとした予算で少しずつ時間を確保してデータ分析基盤を作りましょう。
パブリッククラウドのGoogle Cloudならサーバリソースは使った分だけお金を払えばいいし、
使わない時は止めておけばお金はかかりません。

このセミナーが対象とするのは、ちょっとしたシェルスクリプトとJavaの読み書きができる
二、三人の小さな兼務のチームです。
セミナーでは、データ分析基盤構築における基本的な考え方から説明し始めて、
アーキテクチャ設計や、具体的なツール類の使い方、
コードの書き方、運用におけるコスト観まで全てのノウハウを共有します。

一時間程度のセミナーを理解出来たら、
あなたも簡単なプログラムでテラバイトクラスのデータをGoogle Cloud StorageからDataflowを使って
BigQueryに転送できるようになれるでしょう。

【登壇内容※一部抜粋】

• データ分析基盤構築における考え方
• rcloneでイントラネットからGoogle Cloud Storageへ
• Dataflowによるパイプライン構築基礎
• BigQueryにおけるテーブル設計の基本

タイムスケジュール

※ 当日予告なく時間配分・内容が変更になる可能性がございます。

登壇者

佐藤 太一

Twitter GitHub

株式会社電通国際情報サービス
Xイノベーション本部
ソフトウェアデザインセンター

多くの受託案件を経験したのち、2007年ISID入社。 ISIDでは一貫して全社部門にて事業部門の支援に従事。 プロダクト開発や、顧客案件に参加することで認識した現場課題を解決するための研究開発を行う。 近年はGitHub Enterprise Cloudの導入やテックブログの立上げなど、より幅広い範囲で技術者がより高い生産性で働ける職場環境を作ることに注力している。

参加対象

• データエンジニア

参加にあたっての注意事項

• 参加を辞退する場合は、詳細ページより申込のキャンセルをお願い致します。
• 配信映像や音声は各自の通信環境に依存します。なるべく通信環境の良い状態で視聴ください。