Embulk & Digdag Online Meetup 2020

参加枠申込形式参加費 参加者
オンライン参加枠
先着順 無料 123人 / 定員200人

イベント内容

Embulk & Digdag Online Meetup 2020

概要

COVID-19の影響でキャンセルとなったEmbulk & Digdag Meetupですが、オンラインで実施することとなりました!

Arm Treasure Dataが中心となって開発・提供をしているOSSプロダクトであるEmbulkとDigdagのMeetupを初開催します!

Embulk/Digdagのオリジナル開発者である古橋(@frsyuki)や現在のコア開発チームも参加して、EmbulkとDigdagそれぞれの今後のロードマップについて発表します。

さらに、EmbulkとDigdagをプロダクション環境で利用しているZOZO TechnologiesとprimeNumber社の「troccoⓇ」開発チームの2社にも登壇いただき、EmbulkとDigdagの運用やプラグイン開発についてのディープなナレッジを共有します。

イベント

  • Youtube Live経由で配信します。https://youtu.be/Re9GF2zN3Q0
  • Q&Aについては、こちら。https://app.sli.do/event/rmpbrfsv/live/questions

タイムスケジュール

時間 内容 概要
13:00〜13:05 オープニング
13:05〜13:20 Embulkプラグインをスクリプトで書けるようにしてみた
古橋貞之 Arm TreasureData
EmbulkでETLしてますか? プラグインも書いてますか? APIが難しい? Javaが面倒? 実はスクリプトでも書けるのです。
Embulkの可能性をさらに広げるスクリプティングプラグインを紹介します。
13:20〜13:50 Plan and incompatibility toward Embulk v1.0
三廻部大 Arm TreasureData
Embulk が最初にリリースされて5年が経ちました。これからEmbulk v1.0に向けて、非互換を伴う改善を入れていく予定です。ここでは、なぜそれが必要なのかから、開発の計画、非互換への対応などについて紹介します。
13:50〜14:20 Embulk を利用したデータ統合SaaSの構築と運用
鈴木健太 株式会社primeNumber
分析基盤構築・データ統合SaaSの「troccoⓇ」では、データ転送のコアの部分の多くにEmbulkを利用させていただいております。
ユーザーがEmbulkの知識がなくとも簡単にデータパイプラインを構築できるようなサービスであり、より高速・スケーラブルなデータ転送基盤を提供することを目指しています。
Embulkを利用したtrocco開発の話や、k8s on EKSを利用したスケールの確保、実運用の裏側などをご紹介します。
14:20〜14:30 休憩
14:30〜15:00 Digdag updates
山縣 陽 Arm TreasureData
最近の Digdag のアップデートや次期メジャーバージョンに入る予定の機能、GraalJS 導入による性能改善などについて紹介します。
15:00〜15:20 Digdagを利用したデータ基盤とその運用Tips
田島克哉 株式会社ZOZOテクノロジーズ
ZOZOTOWNではデータ基盤にDigdagを利用しています。
そこでDigdagを利用したデータ基盤の紹介並びに、Digdag運用の中で得られた知見・Tipsの紹介を行います。
15:20〜15:40 スケーラブルなワークフロー実行環境を目指して
平田拓也 株式会社ZOZOテクノロジーズ
Digdagのv0.10で追加される機能「KubernetesCommandExecutor」の概要と、DigdagをGKE上で動かすことでスケーラブルなワークフロー実行環境を実現したことについて紹介します。
各発表後 QA プレゼン中にいただいた質問については、発表後に適時その場で回答してもらいます!

※ 当日予告なく時間配分・内容が変更になる可能性がございます。


参加対象

  • Embulk / Digdagを本番環境で運用しているエンジニア
  • Embulk / Digdagへのコントリビュートをしている・したいエンジニア

参加費

無料

ハッシュタグ

#embulk #digdag
の両方をつけてツイートください

注意事項

  • ZoomのWebnarモードで開催を行います。
本イベントは終了しました

類似しているイベント