2022/01/27(木)19:00 〜 20:40

スタディサプリのデータ基盤を支える技術 2022 ーRECRUIT TECH MEET UP #3ー

オンライン

ビッグデータ, Google BigQuery, 機械学習, Google Cloud, Meetup

#Rtech, #recruitdata

参加枠

0人／定員500人

一般枠【先着順】無料

348人定員500人

参加枠	申込形式	参加費	参加者
一般枠	先着順	無料	348人 / 定員500人

基本情報

日時: 2022/01/27(木) 19:00〜20:40
開催形式: オンライン
主催: 株式会社リクルート
共催: TECH PLAY

イベント内容

概要

今回のミートアップでは、リクルートが提供するオンライン学習サービス「スタディサプリ」のデータ基盤を紹介します。昨年、従来のデータ基盤から BigQuery を中心としたGCP 環境へリプレイスしました。それにともない、DWH だけでなくワークフローエンジン、ETLツール、ロガー、CI/CDツール、実行マシン、メタ管理ツールなどの技術コンポーネントも一新しました。その結果、技術的負債の解消だけでなく、データ活用を通じてエンドユーザーにより良い学習体験を届ける仕組みが進化しました。

データ基盤移管で得られた失敗談やノウハウを含む実践的な活用事例を3つのパートに分けて紹介します。

参考：StudySapuri Data Meetup 2018年7月

※配信URLは、申込者に対し本ページ上にて当日までに表示されます。

タイムスケジュール

時間	内容
19:00〜19:05	オープニング
19:05～19:10	登壇者紹介
19:10〜19:30	スタディサプリのデータ分析基盤の進歩と調和データエンジニアマネージャー　戸井田明俊 2020年春、スタディサプリのデータ基盤を Treasure Data から BigQuery をはじめとする GCP 環境へ移管しました。事業・組織成長にともない、データ基盤に求められる要件・ステークホルダーが急速に変化していく中、技術的・組織的にどう対応したかを紹介します。特に、プロジェクトを進めるにあたっての、技術選定、チーム運営、メンバー育成などの試行錯誤をお話します。
19:30～19:50	スタディサプリでの BigQuery 移管と実践的活用術データエンジニア　橘高允伸・BigQueryのデータマート設計と権限管理・既存の集計やデータ連携を止めず、DWHを移管する実践法・BigQueryのAssert文とCloud Composerを使ったデータ整合性のチェック・Lookerの利用ルール見直し、連携・権限管理・Data Catalogを使った、メタ情報管理術などなど、約2年にわたって行った BigQueey移管プロジェクトで培った、BigQueryの実践的な活用術を紹介します。
19:50～20:10	スタディサプリのデータ基盤を支えるデータパイプラインの技術と運用データエンジニア　丹田尋データ基盤では、データ取り込みやデータ連携のタスクが年々増えており、運用工数・費用面での負担が大きくなっておりました。そこで、今回のデータ基盤移管に伴いBigQuery 以外にも、Cloud Composer(Airflow)、Embulk、Cloud Run、Cloud Build、Firebase Analyticsなど様々なコンポーネントの導入・改良に取り組みました。持続可能なデータ基盤開発・運用を目指す中で、試行錯誤して編み出したノウハウを、ETLおよびパイプラインに焦点を当てて紹介します。
20:10～20:30	Q&A
20:30〜20:40	クロージング