Data Engineering Study #23 Data orchestration 特集

2024/03/05(火)18:00 〜 20:30 開催

ブックマーク

#SaaS, #Meetup, #キャリア

イベント内容

過去の Data Engineering Study のアーカイブはこちらからご視聴いただけます。

開催内容

概要

本イベントは、Infra Study Meetup を運営する Forkwell と、分析基盤向けデータ統合SaaS「trocco」の開発・運営を行う primeNumber による共催イベントです。データ分析に精通した講師をお招きし、データ分析基盤の「これまで」と「これから」を学ぶことを趣旨として開催いたします。
複数回にわたって、各回テーマに沿った内容で各分野でご活躍されているエンジニア／研究者に講演いただきます。
質疑応答の時間には、ゆずたそ氏（@yuzutas0）にもご参加いただきます。

プログラム第23回「Data orchestration特集」

データ分析の必要性がますます高まる中で、“サイロ化したデータにとらわれてなかなかビジネスの力に変えることができていない”という企業は多いのではないでしょうか。
そこでData Engineering Study第23回では、データ統合のための「Data orchestration」を通してデータ活用の現在形を考えます。

基調講演「ワークフローオーケストレーション入門」

　長江五月 氏（@nsakki55）
株式会社CyberAgent AI事業本部 Dynalyst データサイエンティストマネージャー

▍発表内容

データパイプラインや機械学習パイプラインなどの、データ領域でのワークフローオーケストレーションへの注目が近年高まっています。なぜ今このトレンドがきてるのか、何を行えばいいのかなど、ワークフローオーケストレーションの具体の内容に着目します。

本発表では以下の内容についてお話しします。
- ワークフローオーケストレーションとは何か？
- Airflow/Digdag/Argo/Prefect/Dagster/StepFunctionsの6つのワークフローオケストレーションツールを比較
- インターネット広告配信プロダクトDynalystでのワークフロー運用知見の紹介

対象者としてはデータ・機械学習基盤の開発に関わる以下の人となっています。
- これからワークフローツールの導入を検討してる人
- 既にワークフロー運用を行っていて課題感を感じてる人

LT1「データオーケストレーションツールDagsterの紹介」

岩崎晃 氏（@sista05）
株式会社DataMarket 代表取締役

▍発表内容

データオーケストレーションとは、企業全体のデータ設定、管理、および調整を自動化することを意味します。

これまでデータエンジニアリングでは、主にシステム構築やデータ整理に焦点が当てられていました。しかし、世の中で急速にデータ利活用が進む中で、企業・部門間・業種ごとでデータ成熟度や手法の違いが目立つようになってきており、理解のギャップを埋めるための共通の土台を作ることが新しい課題となっています。

Dagsterは、データオーケストレーションの実現に当たって、自身が企業のデータアセットを表現し管理する一つのプラットフォームになることを目指しています。この目標を達成するために、Dagsterが採用しているアプローチとその将来性について話をしたいと考えています。

LT2「dbtをDagster Cloudでオーケストレーションする」

上村空知 氏（@contradiction29）
株式会社Algoage データエンジニア

▍発表内容

データエンジニアリングの場面で今や圧倒的な人気を誇るdbt。しかし、dbtをオーケストレーションする際のベストプラクティスは確立されておらず、さまざまなツールでのオーケストレーション方法が提案されています。

本発表では、実際に導入して数ヶ月運用した経験をもとに、dbtをオーケストレーションする際の一つのプラクティスとして「Dagster Cloud」を利用した場合のメリットとデメリットをお話しします。Dagsterは開発者体験を重視した新世代のオーケストレーションツールとして、Airflowの代替手段となり得るポテンシャルを秘めています。
本発表がdbtをオーケストレーションする手段の一つとしてDagster Cloudを考慮するきっかけになれば幸いです

タイムスケジュール（目安）

時間	内容
18:00	オープニング（5分）
18:05	基調講演（40分）長江五月氏「ワークフローオーケストレーション入門」
18:45	質疑応答（15分）
19:00	共催LT1（5分）Forkwell
19:05	LT1（15分）岩崎晃氏「データオーケストレーションツールDagsterの紹介」
19:20	LT2（15分）上村空知氏「dbtをDagster Cloudでオーケストレーションする」
19:35	質疑応答（15分）
19:50	共催LT2（5分）primeNumber
19:55	アフタートーク（15分）
20:10	クロージング（5分）
20:15	完全終了

※ タイムスケジュールは目安です。完全解散20:15までの間で、より参加者にご満足いただける形で各コンテンツ時間が調整される場合がございます。
※ プログラムは変更となる可能性があります。随時こちらで更新いたします。

開催背景

Forkwell からのコメント

本イベントは、Infra Study Meetup に注目していただいた primeNumber さまからのお声がけで実現したイベントです。Infra Study Meetup とは主催する団体、扱うテーマが異なることから、別シリーズとして立ち上げました。Infra Study 参加者と共に得たイベントノウハウを継承し、データ分析領域でも学びの場を作ります。
本家 Infra Study にご参加いただいた方はもちろん、データ分析に関心のある方ならどなたでも参加可能です。エンジニアリングと密接に関わるデータ分析領域について楽しく学んでいただけましたら幸いです。

primeNumber からのコメント

弊社はデータ分析基盤向けの総合支援サービス「trocco」を運営しているのですが、その中で「どういう分析基盤を作っていけばいいのか？」というご質問をよく伺います。そのような方向けに何か有益な情報をご提供できる場はないかと考えた時に、本イベントの開催を思いつきました。
そんなタイミングで、「Infra Study Meetup」という反響が大きいイベントがあるのを見つけ、「データ分析基盤」版を作りませんかとお声がけした所から開催に至りました。
これから分析基盤を作ろうとされている方や、現在運用中の基盤の改善アイデアを探している方に、有益な場に出来ればと思っております。