Data Engineering Study #13 - ELT・データモデリングツール特集回

イベント内容

過去の Data Engineering Study のアーカイブはこちらからご視聴いただけます。

開催内容

概要

本イベントは、Infra Study Meetup を運営する Forkwell と、分析基盤向けデータ統合SaaS「trocco」の開発・運営を行う primeNumber による共催イベントです。データ分析に精通した講師をお招きし、データ分析基盤の「これまで」と「これから」を学ぶことを趣旨として開催いたします。
ゆずたそ氏(@yuzutas0)にモデレーターを依頼し、複数回にわたって、各回テーマに沿った内容で各分野でご活躍されているエンジニア/研究者に講演いただきます。

開催背景

Forkwell からのコメント

本イベントは、Infra Study Meetup に注目していただいた primeNumber さまからのお声がけで実現したイベントです。Infra Study Meetup とは主催する団体、扱うテーマが異なることから、別シリーズとして立ち上げました。Infra Study 参加者と共に得たイベントノウハウを継承し、データ分析領域でも学びの場を作ります。
本家 Infra Study にご参加いただいた方はもちろん、データ分析に関心のある方ならどなたでも参加可能です。エンジニアリングと密接に関わるデータ分析領域について楽しく学んでいただけましたら幸いです。
Forkwell 事業責任者 赤川

primeNumber からのコメント

弊社はデータ分析基盤向けの総合支援サービス「trocco」を運営しているのですが、その中で「どういう分析基盤を作っていけばいいのか?」というご質問をよく伺います。そのような方向けに何か有益な情報をご提供できる場はないかと考えた時に、本イベントの開催を思いつきました。
そんなタイミングで、「Infra Study Meetup」という反響が大きいイベントがあるのを見つけ、「データ分析基盤」版を作りませんかとお声がけした所から開催に至りました。
これから分析基盤を作ろうとされている方や、現在運用中の基盤の改善アイデアを探している方に、有益な場に出来ればと思っております。
primeNumber 取締役執行役員CPO 小林寛和

こんなエンジニアにおすすめ

  • データ分析に関わる事例を知りたい方
  • 自社内にデータ分析基盤を作ろうと検討中の方
  • 自社のデータ分析基盤をより効率的にしたいと考えている方
  • データ分析領域に幅を広げてみたいソフトウェアエンジニア・インフラエンジニア

プログラム第13回「ELT・データモデリングツール特集回」

Data Engineering Study第13回では「ELT・データモデリング」を実践するツールについて学んでいきます。
データモデリングやELTの基本的な概念について触れた後、それを実際に実現するためのツールをご紹介します。
今回はツールとして「dbt」と「Dataform」をピックアップし、それらを本番環境で運用されている方にご登壇いただきます。

講演「dbtを使ったELTデータパイプライン構築と運用事例」

瀧本 晋也 氏(@takimo
株式会社10X

▍発表内容

10X社におけるdbtとELTアプローチを採用し、DWHの構築やサービス開発におけるデータ変換処理の実装事例についてご紹介します。dbt導入に至った背景や運用時における工夫に関してもお話します。

講演「Data Transformation in Digdag - 小さな会社でデータ基盤を運用する」

大政 勇作 氏(@_eurk
株式会社TimeTree

▍発表内容

ワークフローエンジンのDigdagを使ったELT、特にT(Transform)に関する問題について、Digdagのジョブ定義をうまく活用しながら解決する方法について、TimeTree社の取り組みをご紹介します。
また、弊社のようにデータ基盤チームがまだないスタートアップでのTransfomの難しさとの向き合い方も、一例としてお話しします。

講演「Dataformとdbtで楽するデータモデリング」

山田 直史 氏(@na0fu3y
株式会社メルカリ

▍発表内容

データを使ってもらうためのデータモデリングと、そのうちDataformやdbtに振り分けた領域について紹介します。Dataformが解禁された時に、対等に検討できるようにDataformとdbtをそれぞれ利用した体験をお話しします。

タイムスケジュール(目安)

時間 内容
18:00〜 司会より挨拶(10分)
18:10〜 講演(20分)株式会社10X 瀧本 晋也氏
「dbtを使ったELTデータパイプライン構築と運用事例」
18:30〜 質疑応答(10分)
18:40〜 スポンサーセッション(5分)
Forkwell
18:45〜 休憩(5分)
18:50〜 講演(20分)株式会社TimeTree 大政 勇作氏
「Data Transformation in Digdag - 小さな会社でデータ基盤を運用する」
19:10〜 質疑応答(10分)
19:20〜 スポンサーLT(5分)
primeNumber 小林 寛和
19:25〜 休憩(5分)
19:30〜 講演(20分)
株式会社メルカリ 山田 直史氏
「Dataformとdbtで楽するデータモデリング」
19:50〜 質疑応答(10分)
20:00〜 アフタートーク(15分)
20:15 完全終了

※ タイムスケジュールは目安です。完全解散20:15までの間で、より参加者にご満足いただける形で各コンテンツ時間が調整される場合がございます。
※ プログラムは変更となる可能性があります。随時こちらで更新いたします。

これまでの勉強会で扱うテーマとアーカイブ動画

参加方法

今回のオンライン勉強会は YouTube Live を使用してライブ配信いたします。
また、コメントや感想、講演内容に関する質問は Twitter へお願いいたします。

ライブ配信終了後、アーカイブ動画の公開を予定しております。
当日の開催時間にライブ参加できない方も、こちらのページより参加申込みの上、アーカイブ動画をご視聴いただけます。

なお、Twitterタイムラインと連動したリアルタイムなイベント参加体験を重視するため、YouTube Liveの追いかけ再生はできない設定となりますこと、ご了承くださいませ。 配信中のプログラムからの視聴、あるいはライブ配信終了数時間後から再生可能になるアーカイブ動画をご視聴ください。

留意事項

  • Forkwell、primeNumber の宣伝をさせていただく時間がございます。予めご了承ください。
  • IT技術者の方を対象としたイベントのため、非エンジニアの方のご参加、ならびに同業に属する方の当イベント内でのリクルーティング活動につきましてご遠慮いただいております。
  • イベントの風景を、Forkwellメディア上の記事(イベントレポート)に掲載することがございます。掲載を希望されない方は、当日Zoomチャットまたはイベントページ問い合わせフォームより、掲載希望されない旨をお伝えください。
  • イベント参加時にご入力いただいた情報は、次のプライバシーポリシーに基づき、primeNumber のみで適切に扱います。 https://primenumber.co.jp/privacy/

また、ご参加者の方々が最大限楽しんで頂けるよう、運営サイドで参加にふさわしくないと判断させて頂いた方については、イベント中であろうとご退席をお願いすることがございます。

  • 保険、宗教、ネットワークビジネスの勧誘が目的と見られる方
  • その他運営サイドで参加が不適切だと判断した方 誠に恐れ入りますが、あらかじめご了承くださいませ。

主催・協力

主催/コミュニティ支援協賛

「成長し続けるエンジニアを支援する」サービスを運営する Forkwell



分析基盤向けデータ統合SaaS「trocco」の開発・運営を行う primeNumber

後援

天神放送局様にライブ配信代行として協力いただいております。

天神放送局はライブ配信を広めることで「機会格差をなくす」ことをミッションとしたライブ配信ユニットです。
コミュニティイベントが増え続ける中、コンテンツを熱意ある人に届けるために活動しています。


注意事項

※ こちらのイベント情報は、外部サイトから取得した情報を掲載しています。
※ 掲載タイミングや更新頻度によっては、情報提供元ページの内容と差異が発生しますので予めご了承ください。
※ 最新情報の確認や参加申込手続き、イベントに関するお問い合わせ等は情報提供元ページにてお願いします。