Data Engineering Study #13 - ELT・データモデリングツール特集回

2022/04/06(水)18:00 〜 20:30 開催

ブックマーク

#SaaS, #インフラ, #スタートアップ

イベント内容

過去の Data Engineering Study のアーカイブはこちらからご視聴いただけます。

開催内容

概要

本イベントは、Infra Study Meetup を運営する Forkwell と、分析基盤向けデータ統合SaaS「trocco」の開発・運営を行う primeNumber による共催イベントです。データ分析に精通した講師をお招きし、データ分析基盤の「これまで」と「これから」を学ぶことを趣旨として開催いたします。
ゆずたそ氏（@yuzutas0）にモデレーターを依頼し、複数回にわたって、各回テーマに沿った内容で各分野でご活躍されているエンジニア／研究者に講演いただきます。

開催背景

Forkwell からのコメント

本イベントは、Infra Study Meetup に注目していただいた primeNumber さまからのお声がけで実現したイベントです。Infra Study Meetup とは主催する団体、扱うテーマが異なることから、別シリーズとして立ち上げました。Infra Study 参加者と共に得たイベントノウハウを継承し、データ分析領域でも学びの場を作ります。
本家 Infra Study にご参加いただいた方はもちろん、データ分析に関心のある方ならどなたでも参加可能です。エンジニアリングと密接に関わるデータ分析領域について楽しく学んでいただけましたら幸いです。
Forkwell 事業責任者赤川

primeNumber からのコメント

弊社はデータ分析基盤向けの総合支援サービス「trocco」を運営しているのですが、その中で「どういう分析基盤を作っていけばいいのか？」というご質問をよく伺います。そのような方向けに何か有益な情報をご提供できる場はないかと考えた時に、本イベントの開催を思いつきました。
そんなタイミングで、「Infra Study Meetup」という反響が大きいイベントがあるのを見つけ、「データ分析基盤」版を作りませんかとお声がけした所から開催に至りました。
これから分析基盤を作ろうとされている方や、現在運用中の基盤の改善アイデアを探している方に、有益な場に出来ればと思っております。
primeNumber 取締役執行役員CPO 小林寛和

こんなエンジニアにおすすめ

データ分析に関わる事例を知りたい方
自社内にデータ分析基盤を作ろうと検討中の方
自社のデータ分析基盤をより効率的にしたいと考えている方
データ分析領域に幅を広げてみたいソフトウェアエンジニア・インフラエンジニア

プログラム第13回「ELT・データモデリングツール特集回」

Data Engineering Study第13回では「ELT・データモデリング」を実践するツールについて学んでいきます。
データモデリングやELTの基本的な概念について触れた後、それを実際に実現するためのツールをご紹介します。
今回はツールとして「dbt」と「Dataform」をピックアップし、それらを本番環境で運用されている方にご登壇いただきます。

講演「dbtを使ったELTデータパイプライン構築と運用事例」

瀧本晋也 氏（@takimo）
株式会社10X

▍発表内容

10X社におけるdbtとELTアプローチを採用し、DWHの構築やサービス開発におけるデータ変換処理の実装事例についてご紹介します。dbt導入に至った背景や運用時における工夫に関してもお話します。

講演「Data Transformation in Digdag - 小さな会社でデータ基盤を運用する」

大政勇作 氏（@_eurk）
株式会社TimeTree

▍発表内容

ワークフローエンジンのDigdagを使ったELT、特にT(Transform)に関する問題について、Digdagのジョブ定義をうまく活用しながら解決する方法について、TimeTree社の取り組みをご紹介します。
また、弊社のようにデータ基盤チームがまだないスタートアップでのTransfomの難しさとの向き合い方も、一例としてお話しします。

講演「Dataformとdbtで楽するデータモデリング」

山田直史 氏（@na0fu3y）
株式会社メルカリ

▍発表内容

データを使ってもらうためのデータモデリングと、そのうちDataformやdbtに振り分けた領域について紹介します。Dataformが解禁された時に、対等に検討できるようにDataformとdbtをそれぞれ利用した体験をお話しします。

タイムスケジュール（目安）

時間	内容
18:00〜	司会より挨拶（10分）
18:10〜	講演（20分）株式会社10X 瀧本晋也氏「dbtを使ったELTデータパイプライン構築と運用事例」
18:30〜	質疑応答（10分）
18:40〜	スポンサーセッション（5分） Forkwell
18:45〜	休憩（5分）
18:50〜	講演（20分）株式会社TimeTree 大政勇作氏「Data Transformation in Digdag - 小さな会社でデータ基盤を運用する」
19:10〜	質疑応答（10分）
19:20〜	スポンサーLT（5分） primeNumber 小林寛和
19:25〜	休憩（5分）
19:30〜	講演（20分）株式会社メルカリ山田直史氏「Dataformとdbtで楽するデータモデリング」
19:50〜	質疑応答（10分）
20:00〜	アフタートーク（15分）
20:15	完全終了

※ タイムスケジュールは目安です。完全解散20:15までの間で、より参加者にご満足いただける形で各コンテンツ時間が調整される場合がございます。
※ プログラムは変更となる可能性があります。随時こちらで更新いたします。

これまでの勉強会で扱うテーマとアーカイブ動画

2020/07/15（水）｜第1回「モダンなDWH/BIツールの選び方と、実際の運用事例」
2020/08/19（水）｜第2回「データ収集基盤とデータ整備のこれまでとこれから」
2020/09/16（水）｜第3回「分析基盤をうまく組織に浸透させる方法」
2020/11/04（水）｜第4回「データ分析基盤の障害対応事例LT祭り」
2020/12/02（水）｜第5回「噂のSnowflake Deep Dive / 国内事例・他DWHとの比較」
2021/02/03（水）｜第6回「改めて学ぶ、BigQuery徹底入門」
2021/04/06（火）｜第7回「Redshift最新アップデートと活用事例」
2021/06/02（水）｜第8回「BIツール特集－OSS・商用の上手い使い分け」
2021/08/03（火）｜第9回「企業規模別データエンジニア組織の作り方」
2021/10/06（水）｜第10回「王道BIツール特集 Tableau / PowerBI / Googleデータポータル」
2021/12/13（月）｜第11回「6社のデータエンジニアが振り返る2021」
2022/2/9（水）｜第12回「エンジニアのための「データ可視化」入門」

参加方法

今回のオンライン勉強会は YouTube Live を使用してライブ配信いたします。
また、コメントや感想、講演内容に関する質問は Twitter へお願いいたします。

ライブ配信終了後、アーカイブ動画の公開を予定しております。
当日の開催時間にライブ参加できない方も、こちらのページより参加申込みの上、アーカイブ動画をご視聴いただけます。

なお、Twitterタイムラインと連動したリアルタイムなイベント参加体験を重視するため、YouTube Liveの追いかけ再生はできない設定となりますこと、ご了承くださいませ。配信中のプログラムからの視聴、あるいはライブ配信終了数時間後から再生可能になるアーカイブ動画をご視聴ください。

留意事項

Forkwell、primeNumber の宣伝をさせていただく時間がございます。予めご了承ください。
IT技術者の方を対象としたイベントのため、非エンジニアの方のご参加、ならびに同業に属する方の当イベント内でのリクルーティング活動につきましてご遠慮いただいております。
イベントの風景を、Forkwellメディア上の記事（イベントレポート）に掲載することがございます。掲載を希望されない方は、当日Zoomチャットまたはイベントページ問い合わせフォームより、掲載希望されない旨をお伝えください。
イベント参加時にご入力いただいた情報は、次のプライバシーポリシーに基づき、primeNumber のみで適切に扱います。 https://primenumber.co.jp/privacy/

また、ご参加者の方々が最大限楽しんで頂けるよう、運営サイドで参加にふさわしくないと判断させて頂いた方については、イベント中であろうとご退席をお願いすることがございます。