BEGIN:VCALENDAR VERSION:2.0 PRODID:-//https://techplay.jp//JP CALSCALE:GREGORIAN METHOD:PUBLISH X-WR-CALDESC:Data Engineering Study #23 Data orchestration 特集 X-WR-CALNAME:Data Engineering Study #23 Data orchestration 特集 X-WR-TIMEZONE:Asia/Tokyo BEGIN:VTIMEZONE TZID:Asia/Tokyo BEGIN:STANDARD DTSTART:19700101T000000 TZOFFSETFROM:+0900 TZOFFSETTO:+0900 TZNAME:JST END:STANDARD END:VTIMEZONE BEGIN:VEVENT UID:935748@techplay.jp SUMMARY:Data Engineering Study #23 Data orchestration 特集 DTSTART;TZID=Asia/Tokyo:20240305T180000 DTEND;TZID=Asia/Tokyo:20240305T203000 DTSTAMP:20260502T191451Z CREATED:20240214T140851Z DESCRIPTION:イベント詳細はこちら\nhttps://techplay.jp/event/93574 8?utm_medium=referral&utm_source=ics&utm_campaign=ics\n\n過去の Data E ngineering Study のアーカイブはこちらからご視聴いただ けます。\n開催内容\n概要\n本イベントは、Infra Study Meet up を運営する Forkwell と、分析基盤向けデータ統合SaaS 「trocco」の開発・運営を行う primeNumber による共催イベ ントです。データ分析に精通した講師をお招きし、デ ータ分析基盤の「これまで」と「これから」を学ぶこ とを趣旨として開催いたします。\n複数回にわたって 、各回テーマに沿った内容で各分野でご活躍されてい るエンジニア／研究者に講演いただきます。\n質疑応 答の時間には、ゆずたそ氏（@yuzutas0）にもご参加いた だきます。\nプログラム第23回「Data orchestration特集」\n データ分析の必要性がますます高まる中で、“サイロ 化したデータにとらわれてなかなかビジネスの力に変 えることができていない”という企業は多いのではな いでしょうか。\nそこでData Engineering Study第23回では、 データ統合のための「Data orchestration」を通してデータ 活用の現在形を考えます。\n\n\n基調講演「ワークフロ ーオーケストレーション入門」\n　長江 五月 氏（@nsakk i55）\n株式会社CyberAgent AI事業本部 Dynalyst データサイエ ンティストマネージャー\n\n▍発表内容\nデータパイプ ラインや機械学習パイプラインなどの、データ領域で のワークフローオーケストレーションへの注目が近年 高まっています。なぜ今このトレンドがきてるのか、 何を行えばいいのかなど、ワークフローオーケストレ ーションの具体の内容に着目します。\n本発表では以 下の内容についてお話しします。\n- ワークフローオー ケストレーションとは何か？\n- Airflow/Digdag/Argo/Prefect/Da gster/StepFunctionsの6つのワークフローオケストレーショ ンツールを比較\n- インターネット広告配信プロダクト Dynalystでのワークフロー運用知見の紹介\n対象者として はデータ・機械学習基盤の開発に関わる以下の人とな っています。\n- これからワークフローツールの導入を 検討してる人\n- 既にワークフロー運用を行っていて課 題感を感じてる人\n\nLT1「データオーケストレーション ツールDagsterの紹介」\n岩崎 晃 氏（@sista05）\n株式会社D ataMarket 代表取締役\n\n▍発表内容\nデータオーケストレ ーションとは、企業全体のデータ設定、管理、および 調整を自動化することを意味します。\nこれまでデー タエンジニアリングでは、主にシステム構築やデータ 整理に焦点が当てられていました。\nしかし、世の中 で急速にデータ利活用が進む中で、企業・部門間・業 種ごとでデータ成熟度や手法の違いが目立つようにな ってきており、理解のギャップを埋めるための共通の 土台を作ることが新しい課題となっています。\nDagster は、データオーケストレーションの実現に当たって、 自身が企業のデータアセットを表現し管理する一つの プラットフォームになることを目指しています。\nこ の目標を達成するために、Dagsterが採用しているアプロ ーチとその将来性について話をしたいと考えています 。\n\nLT2「dbtをDagster Cloudでオーケストレーションする 」\n上村 空知 氏（@contradiction29）\n株式会社Algoage デー タエンジニア\n\n▍発表内容\nデータエンジニアリング の場面で今や圧倒的な人気を誇るdbt。しかし、dbtをオ ーケストレーションする際のベストプラクティスは確 立されておらず、さまざまなツールでのオーケストレ ーション方法が提案されています。\n本発表では、実 際に導入して数ヶ月運用した経験をもとに、dbtをオー ケストレーションする際の一つのプラクティスとして 「Dagster Cloud」を利用した場合のメリットとデメリット をお話しします。Dagsterは開発者体験を重視した新世代 のオーケストレーションツールとして、Airflowの代替手 段となり得るポテンシャルを秘めています。\n本発表 がdbtをオーケストレーションする手段の一つとしてDags ter Cloudを考慮するきっかけになれば幸いです\n\nタイム スケジュール（目安）\n\n\n\n時間\n内容\n\n\n\n\n18:00\nオ ープニング（5分）\n\n\n18:05\n基調講演（40分）長江 五 月氏「ワークフローオーケストレーション入門」\n\n\n1 8:45\n質疑応答（15分）\n\n\n19:00\n共催LT1（5分）Forkwell\n\n \n19:05\nLT1（15分）岩崎 晃 氏「データオーケストレーシ ョンツールDagsterの紹介」\n\n\n19:20\nLT2（15分）上村 空 知 氏「dbtをDagster Cloudでオーケストレーションする」\n \n\n19:35\n質疑応答（15分）\n\n\n19:50\n共催LT2（5分）primeNu mber\n\n\n19:55\nアフタートーク（15分）\n\n\n20:10\nクロー ジング（5分）\n\n\n20:15\n完全終了\n\n\n\n※ タイムスケ ジュールは目安です。完全解散20:15までの間で、より 参加者にご満足いただける形で各コンテンツ時間が調 整される場合がございます。\n※ プログラムは変更と なる可能性があります。随時こちらで更新いたします 。 \n開催背景\nForkwell からのコメント\n\n本イベントは 、Infra Study Meetup に注目していただいた primeNumber さま からのお声がけで実現したイベントです。Infra Study Meet up とは主催する団体、扱うテーマが異なることから、 別シリーズとして立ち上げました。Infra Study 参加者と 共に得たイベントノウハウを継承し、データ分析領域 でも学びの場を作ります。\n本家 Infra Study にご参加い ただいた方はもちろん、データ分析に関心のある方な らどなたでも参加可能です。エンジニアリングと密接 に関わるデータ分析領域について楽しく学んでいただ けましたら幸いです。\n\nprimeNumber からのコメント\n\n 弊社はデータ分析基盤向けの総合支援サービス「trocco 」を運営しているのですが、その中で「どういう分析 基盤を作っていけばいいのか？」というご質問をよく 伺います。そのような方向けに何か有益な情報をご提 供できる場はないかと考えた時に、本イベントの開催 を思いつきました。\nそんなタイミングで、「Infra Study Meetup」という反響が大きいイベントがあるのを見つけ 、「データ分析基盤」版を作りませんかとお声がけし た所から開催に至りました。\nこれから分析基盤を作 ろうとされている方や、現在運用中の基盤の改善アイ デアを探している方に、有益な場に出来ればと思って おります。\n\nこれまでの勉強会で扱ったテーマとアー カイブ動画\n\n2020/07/15（水）｜第1回「モダンなDWH/BIツ ールの選び方と、実際の運用事例」 \n2020/08/19（水）｜ 第2回「データ収集基盤とデータ整備のこれまでとこれ から」 \n2020/09/16（水）｜第3回「分析基盤をうまく組 織に浸透させる方法」\n2020/11/04（水）｜第4回「データ 分析基盤の障害対応事例LT祭り」\n2020/12/02（水）｜第5 回「噂のSnowflake Deep Dive / 国内事例・他DWHとの比較」\n2 021/02/03（水）｜第6回「改めて学ぶ、BigQuery徹底入門」\ n2021/04/06（火）｜第7回「Redshift最新アップデートと活 用事例」\n2021/06/02（水）｜第8回「BIツール特集－OSS・ 商用の上手い使い分け」\n2021/08/03（火）｜第9回「企業 規模別データエンジニア組織の作り方」\n2021/10/06（水 ）｜第10回「王道BIツール特集 Tableau / PowerBI / Googleデー タポータル」\n2021/12/13（月）｜第11回「6社のデータエ ンジニアが振り返る2021」\n2022/02/09（水）｜第12回「エ ンジニアのための「データ可視化」入門」\n2022/04/06（ 水）｜第13回「ELT・データモデリングツール特集回」\n 2022/06/08（水）｜第14回「Modern Data Stack特集」\n2022/08/03 （水）｜第15回「Reverse ETL 特集回」\n2022/10/19（水）｜ 第16回「データカタログ入門」\n2022/12/14（水）｜第17回 「6社のデータエンジニアが振り返る2022」\n2023/02/15（ 水）｜第18回「データ指向アプリケーションデザイン 」 \n2023/04/20（木）｜第19回「データエンジニアのキャ リアを考える」\n2023/06/30（金）｜第20回「10年戦えるデ ータ分析入門」\n2023/08/30（金）｜第21回「Azureのデータ 分析サービスの現在と未来」\n2023/12/12（金）｜第22回 「5社のデータエンジニアが振り返る2023」\n\n\n\n留意事 項\n\nData Engineering Study コミュニティガイドライン を事 前にご確認ください。\nイベント参加時にご入力いた だいた情報は、次のプライバシーポリシーに基づき、p rimeNumber のみで適切に扱います。 https://primenumber.co.jp/pr ivacy/\n\n主催・協力\n主催／コミュニティ支援協賛\nITエ ンジニアのキャリアに本気で向き合う転職サイト Forkwe ll（フォークウェル）\n\n\n\n\n\nデータ分析基盤の総合 支援サービス「trocco」の開発・運営を行う primeNumber\n\n \n LOCATION:YouTube LIVE オンライン URL:https://techplay.jp/event/935748?utm_medium=referral&utm_source=ics&utm _campaign=ics END:VEVENT END:VCALENDAR