Data Engineering Study #25 データカタログの現在地

2024/08/28(水)19:00 〜 21:30 開催

ブックマーク

#OSS, #データ分析, #キャリア

イベント内容

過去の Data Engineering Study のアーカイブはこちらからご視聴いただけます。

開催内容

概要

本イベントは、Infra Study Meetup を運営する Forkwell と、データ基盤の総合支援サービス「TROCCO®️」の開発・運営を行う primeNumber による共催イベントです。データ分析に精通した講師をお招きし、データ分析基盤の「これまで」と「これから」を学ぶことを趣旨として開催いたします。
複数回にわたって、各回テーマに沿った内容で各分野でご活躍されているエンジニア／研究者に講演いただきます。
質疑応答の時間には、ゆずたそ氏（@yuzutas0）にもご参加いただきます。

プログラム第25回「データカタログの現在地」

データ量が増加し続ける中、企業におけるデータ管理の重要性が一層高まっています。そのような動きに合わせて、組織全体のデータ資産を管理して、データの発見・理解を促進するデータカタログの需要も高まりつつあります。
今回は、データカタログとは何か、またOSSである「OpenMetadata」に関するご紹介やCommiterとしての活動をOpenMetadataのCommiterであるDATUM STUDIO 川口氏にお話しいただきます。その後、GENDA 山口氏、サミーネットワークス森氏から実際に各社がデータカタログをどのように活用されているか、事例をご紹介いただきます。

基調講演「データカタログに求められる機能とOpenMetadataでどのように実現されているかのご紹介」

　川口氏
DATUM STUDIO株式会社データエンジニア部
2019年にDATUM STUDIOに入社。データ分析やデータマイグレーション、データ基盤構築のプロジェクトに携わる。

▍発表内容

データカタログはデータ基盤において必要とされながらも、実際には導入が後回しにされがちな面があるかと思います。本発表ではメタデータ管理やデータカタログの概要と求められる機能についてご紹介し、その重要性や活用方法についてお話しできればと考えています。具体的なデータカタログの例として、OSSのデータカタログの一つであるOpenMetadataについて基本的な機能や特徴についてお話しいたします。また、私はOpenMetadataのコントリビューターとして活動をしているのですが、どのように活動しているかについてもご紹介いたします。

事例講演①「Streamlitのデータカタログが社内にもたらした変化」

　山口歩夢 氏（@Yamaguchi_aaaaa）
株式会社GENDA IT戦略部・データエンジニア
2023年にGENDAにデータエンジニアとして入社。
データ基盤の構築や運用、Streamlitでのデータ可視化アプリケーションやデータカタログの開発に携わる。

▍発表内容

弊社では、多様な事業とデータを保有しており、これらを効果的に管理するため、データマネジメントを進めたいと考えております。その一環として、データカタログが非常に有用なツールであると考えました。
それにあたり、昨年、PythonフレームワークであるStreamlitを用いて、データカタログを開発・導入いたしました。今回の発表では、データカタログに実装した機能とその実装理由、Streamlitを選んだ理由、そしてこのデータカタログが社内にもたらした変化についてお話させていただきます。また、併せてStreamlitで開発した他の社内アプリケーションについてもご紹介いたします。

事例講演②「COMETAを用いたデータ品質管理と業務標準化への取り組み」

　森和也 氏
株式会社サミーネットワークスマーケティング部
金融機関や物流会社を経て、2019年サミーネットワークスに入社。
データ分析チームに所属してデータ基盤の構築やデータ分析による事業の意思決定の支援に従事。

▍発表内容

サミーネットワークスは一昨年データ基盤の再構築を行い、業務の効率化やデータの活用拡大には成功したものの、データ品質管理プロセスの構築や属人化の解消といった課題が残っていました。本発表では、そうした課題を解決するためにどのようにデータカタログを用いたのか、導入して上手くいったことや今後取り組んでいかなければならないことなどを具体例を交えてお話をさせていただきます。この発表がデータカタログの価値と実践的な活用を考えるにあたって何らかの参考になれば幸いです。

タイムスケジュール（目安）

時間	内容
19:00	オープニング（5分）
19:05	基調講演（40分）川口氏「データカタログに求められる機能とOpenMetadataでどのように実現されているかのご紹介」
19:45	質疑応答（10分）
19:55	共催LT1（5分）Forkwell
20:00	休憩（5分）
20:05	事例講演①（20分）山口歩夢氏「Streamlitのデータカタログが社内にもたらした変化」
20:25	質疑応答（10分）
20:35	共催LT2（5分）primeNumber
20:40	休憩（5分）
20:45	ゲスト講演②（20分）森和也氏「COMETAを用いたデータ品質管理と業務標準化への取り組み」
21:05	質疑応答（10分）
21:15	アフタートーク＆クロージング（15分）
21:30	終了予定

※ タイムスケジュールは目安です。完全終了21:30までの間で、より参加者にご満足いただける形で各コンテンツ時間が調整される場合がございます。
※ プログラムは変更となる可能性があります。随時こちらで更新いたします。

開催背景

Forkwell からのコメント

本イベントは、Infra Study Meetup に注目していただいた primeNumber さまからのお声がけで実現したイベントです。Infra Study Meetup とは主催する団体、扱うテーマが異なることから、別シリーズとして立ち上げました。Infra Study 参加者と共に得たイベントノウハウを継承し、データ分析領域でも学びの場を作ります。
本家 Infra Study にご参加いただいた方はもちろん、データ分析に関心のある方ならどなたでも参加可能です。エンジニアリングと密接に関わるデータ分析領域について楽しく学んでいただけましたら幸いです。

primeNumber からのコメント

弊社はデータ基盤の総合支援サービス「TROCCO®️」を運営しているのですが、その中で「どういう分析基盤を作っていけばいいのか？」というご質問をよく伺います。そのような方向けに何か有益な情報をご提供できる場はないかと考えた時に、本イベントの開催を思いつきました。
そんなタイミングで、「Infra Study Meetup」という反響が大きいイベントがあるのを見つけ、「データ分析基盤」版を作りませんかとお声がけした所から開催に至りました。
これから分析基盤を作ろうとされている方や、現在運用中の基盤の改善アイデアを探している方に、有益な場に出来ればと思っております。