スタディサプリのデータ基盤を支える技術 2022 ーRECRUIT TECH MEET UP #3ー

イベント内容

概要

今回のミートアップでは、リクルートが提供するオンライン学習サービス「スタディサプリ」のデータ基盤を紹介します。 昨年、従来のデータ基盤から BigQuery を中心としたGCP 環境へリプレイスしました。 それにともない、DWH だけでなくワークフローエンジン、ETLツール、ロガー、CI/CDツール、実行マシン、メタ管理ツールなどの技術コンポーネントも一新しました。 その結果、技術的負債の解消だけでなく、データ活用を通じてエンドユーザーにより良い学習体験を届ける仕組みが進化しました。

データ基盤移管で得られた失敗談やノウハウを含む実践的な活用事例を3つのパートに分けて紹介します。

参考：StudySapuri Data Meetup  2018年7月

※配信URLは、申込者に対し本ページ上にて当日までに表示されます。

タイムスケジュール

時間	内容
19:00〜19:05	オープニング
19:05～19:10	登壇者紹介
19:10〜19:30	スタディサプリのデータ分析基盤の進歩と調和 データエンジニア マネージャー　戸井田 明俊 2020年春、スタディサプリのデータ基盤を Treasure Data から BigQuery をはじめとする GCP 環境へ移管しました。事業・組織成長にともない、データ基盤に求められる要件・ステークホルダーが急速に変化していく中、技術的・組織的にどう対応したかを紹介します。特に、プロジェクトを進めるにあたっての、技術選定、チーム運営、メンバー育成などの試行錯誤をお話します。
19:30～19:50	スタディサプリでの BigQuery 移管と実践的活用術 データエンジニア　橘高 允伸 ・BigQueryのデータマート設計と権限管理 ・既存の集計やデータ連携を止めず、DWHを移管する実践法 ・BigQueryのAssert文とCloud Composerを使ったデータ整合性のチェック ・Lookerの利用ルール見直し、連携・権限管理 ・Data Catalogを使った、メタ情報管理術 などなど、約2年にわたって行った BigQueey移管プロジェクトで培った、BigQueryの実践的な活用術を紹介します。
19:50～20:10	スタディサプリのデータ基盤を支えるデータパイプラインの技術と運用 データエンジニア　丹田 尋 データ基盤では、データ取り込みやデータ連携のタスクが年々増えており、運用工数・費用面での負担が大きくなっておりました。そこで、今回のデータ基盤移管に伴いBigQuery 以外にも、Cloud Composer(Airflow)、Embulk、Cloud Run、Cloud Build、Firebase Analyticsなど様々なコンポーネントの導入・改良に取り組みました。持続可能なデータ基盤開発・運用を目指す中で、試行錯誤して編み出したノウハウを、ETLおよびパイプラインに焦点を当てて紹介します。
20:10～20:30	Q&A
20:30〜20:40	クロージング

※ 当日予告なく時間配分・内容が変更になる可能性がございます。

登壇者

戸井田 明俊

Twitter

株式会社リクルート
プロダクト統括本部
まなびデータプラットフォームグループ
データエンジニア マネージャー

新卒でオンラインゲーム会社に入社し、広告事業やデータ基盤のエンジニアを担当。2017年にリクルートに中途入社。データエンジニアマネージャーとして、データ基盤の開発・運用やデータプロダクトの開発に従事。

橘高 允伸

GitHub

株式会社リクルート
プロダクト統括本部
まなびデータプラットフォームグループ
データエンジニア

2019年リクルート新卒入社。データエンジニアとしてデータ基盤の開発・運用に従事し、データ基盤の移管プロジェクトなどに携わる。現在はデータプロダクトのバックエンド開発も担当。

丹田 尋

GitHub

株式会社リクルート
プロダクト統括本部
まなびデータプラットフォームグループ
データエンジニア

2020年リクルート新卒入社。データエンジニアとしてデータ基盤の開発・運用に従事し、データ基盤の移管プロジェクトなどに携わる。現在はデータ基盤の開発に加え、MLOps周りも担当。

参加対象

• エンジニア

参加費

無料

参加にあたっての注意事項

• 参加を辞退する場合は、詳細ページより申込のキャンセルをお願い致します。
• 配信映像や音声は各自の通信環境に依存します。なるべく通信環境の良い状態で視聴ください。