Embulk & Digdag Online Meetup 2020
2020/07/09(木)13:00
〜
16:00
開催
ブックマーク
| 参加枠 | 申込形式 | 参加費 | 参加者 |
|---|---|---|---|
|
オンライン参加枠
|
先着順 | 無料 | 121人 ／ 定員200人 |
イベント内容
Embulk & Digdag Online Meetup 2020
概要
COVID-19の影響でキャンセルとなったEmbulk & Digdag Meetupですが、オンラインで実施することとなりました！
Arm Treasure Dataが中心となって開発・提供をしているOSSプロダクトであるEmbulkとDigdagのMeetupを初開催します！
Embulk/Digdagのオリジナル開発者である古橋(@frsyuki)や現在のコア開発チームも参加して、EmbulkとDigdagそれぞれの今後のロードマップについて発表します。
さらに、EmbulkとDigdagをプロダクション環境で利用しているZOZO TechnologiesとprimeNumber社の「troccoⓇ」開発チームの２社にも登壇いただき、EmbulkとDigdagの運用やプラグイン開発についてのディープなナレッジを共有します。
イベント
- Youtube Live経由で配信します。https://youtu.be/Re9GF2zN3Q0
- Q&Aについては、こちら。https://app.sli.do/event/rmpbrfsv/live/questions
タイムスケジュール
| 時間 | 内容 | 概要 |
|---|---|---|
| 13:00〜13:05 | オープニング | |
| 13:05〜13:20 | Embulkプラグインをスクリプトで書けるようにしてみた 古橋貞之 Arm TreasureData |
EmbulkでETLしてますか？ プラグインも書いてますか？ APIが難しい？ Javaが面倒？ 実はスクリプトでも書けるのです。 Embulkの可能性をさらに広げるスクリプティングプラグインを紹介します。 |
| 13:20〜13:50 | Plan and incompatibility toward Embulk v1.0 三廻部大 Arm TreasureData |
Embulk が最初にリリースされて5年が経ちました。これからEmbulk v1.0に向けて、非互換を伴う改善を入れていく予定です。ここでは、なぜそれが必要なのかから、開発の計画、非互換への対応などについて紹介します。 |
| 13:50〜14:20 | Embulk を利用したデータ統合SaaSの構築と運用 鈴木健太 株式会社primeNumber |
分析基盤構築・データ統合SaaSの「troccoⓇ」では、データ転送のコアの部分の多くにEmbulkを利用させていただいております。 ユーザーがEmbulkの知識がなくとも簡単にデータパイプラインを構築できるようなサービスであり、より高速・スケーラブルなデータ転送基盤を提供することを目指しています。 Embulkを利用したtrocco開発の話や、k8s on EKSを利用したスケールの確保、実運用の裏側などをご紹介します。 |
| 14:20〜14:30 | 休憩 | |
| 14:30〜15:00 | Digdag updates 山縣 陽 Arm TreasureData |
最近の Digdag のアップデートや次期メジャーバージョンに入る予定の機能、GraalJS 導入による性能改善などについて紹介します。 |
| 15:00〜15:20 | Digdagを利用したデータ基盤とその運用Tips 田島克哉 株式会社ZOZOテクノロジーズ |
ZOZOTOWNではデータ基盤にDigdagを利用しています。 そこでDigdagを利用したデータ基盤の紹介並びに、Digdag運用の中で得られた知見・Tipsの紹介を行います。 |
| 15:20〜15:40 | スケーラブルなワークフロー実行環境を目指して 平田拓也 株式会社ZOZOテクノロジーズ |
Digdagのv0.10で追加される機能「KubernetesCommandExecutor」の概要と、DigdagをGKE上で動かすことでスケーラブルなワークフロー実行環境を実現したことについて紹介します。 |
| 各発表後 | QA | プレゼン中にいただいた質問については、発表後に適時その場で回答してもらいます！ |
※ 当日予告なく時間配分・内容が変更になる可能性がございます。
参加対象
- Embulk / Digdagを本番環境で運用しているエンジニア
- Embulk / Digdagへのコントリビュートをしている・したいエンジニア
参加費
無料
ハッシュタグ
#embulk #digdag
の両方をつけてツイートください
注意事項
- ZoomのWebnarモードで開催を行います。
