Embulk & Digdag Online Meetup 2020

2020/07/09(木)13:00 〜 16:00 開催

ブックマーク

#Embulk, #OSS, #Treasure Data

イベント情報
資料

参加枠	申込形式	参加費	参加者
オンライン参加枠	先着順	無料	121人／定員200人

イベント内容

Embulk & Digdag Online Meetup 2020

概要

COVID-19の影響でキャンセルとなったEmbulk & Digdag Meetupですが、オンラインで実施することとなりました！

Arm Treasure Dataが中心となって開発・提供をしているOSSプロダクトであるEmbulkとDigdagのMeetupを初開催します！

Embulk/Digdagのオリジナル開発者である古橋(@frsyuki)や現在のコア開発チームも参加して、EmbulkとDigdagそれぞれの今後のロードマップについて発表します。

さらに、EmbulkとDigdagをプロダクション環境で利用しているZOZO TechnologiesとprimeNumber社の「troccoⓇ」開発チームの２社にも登壇いただき、EmbulkとDigdagの運用やプラグイン開発についてのディープなナレッジを共有します。

イベント

Youtube Live経由で配信します。https://youtu.be/Re9GF2zN3Q0
Q&Aについては、こちら。https://app.sli.do/event/rmpbrfsv/live/questions

タイムスケジュール

時間	内容	概要
13:00〜13:05	オープニング
13:05〜13:20	Embulkプラグインをスクリプトで書けるようにしてみた古橋貞之 Arm TreasureData	EmbulkでETLしてますか？プラグインも書いてますか？ APIが難しい？ Javaが面倒？実はスクリプトでも書けるのです。 Embulkの可能性をさらに広げるスクリプティングプラグインを紹介します。
13:20〜13:50	Plan and incompatibility toward Embulk v1.0 三廻部大　Arm TreasureData	Embulk が最初にリリースされて5年が経ちました。これからEmbulk v1.0に向けて、非互換を伴う改善を入れていく予定です。ここでは、なぜそれが必要なのかから、開発の計画、非互換への対応などについて紹介します。
13:50〜14:20	Embulk を利用したデータ統合SaaSの構築と運用鈴木健太株式会社primeNumber	分析基盤構築・データ統合SaaSの「troccoⓇ」では、データ転送のコアの部分の多くにEmbulkを利用させていただいております。ユーザーがEmbulkの知識がなくとも簡単にデータパイプラインを構築できるようなサービスであり、より高速・スケーラブルなデータ転送基盤を提供することを目指しています。 Embulkを利用したtrocco開発の話や、k8s on EKSを利用したスケールの確保、実運用の裏側などをご紹介します。
14:20〜14:30	休憩
14:30〜15:00	Digdag updates 山縣陽 Arm TreasureData	最近の Digdag のアップデートや次期メジャーバージョンに入る予定の機能、GraalJS 導入による性能改善などについて紹介します。
15:00〜15:20	Digdagを利用したデータ基盤とその運用Tips 田島克哉株式会社ZOZOテクノロジーズ	ZOZOTOWNではデータ基盤にDigdagを利用しています。そこでDigdagを利用したデータ基盤の紹介並びに、Digdag運用の中で得られた知見・Tipsの紹介を行います。
15:20〜15:40	スケーラブルなワークフロー実行環境を目指して平田拓也株式会社ZOZOテクノロジーズ	Digdagのv0.10で追加される機能「KubernetesCommandExecutor」の概要と、DigdagをGKE上で動かすことでスケーラブルなワークフロー実行環境を実現したことについて紹介します。
各発表後	QA	プレゼン中にいただいた質問については、発表後に適時その場で回答してもらいます！