Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」

イベント内容

本イベントは、Infra Study Meetup を運営する Forkwell と、分析基盤向けデータ統合SaaS「trocco」の開発・運営を行う primeNumber による共催イベントです。データ分析に精通した講師をお招きし、データ分析基盤の「これまで」と「これから」を学ぶことを趣旨として開催いたします。

開催内容

概要

本イベントでは、ゆずたそ氏(@yuzutas0)にモデレーターを依頼し、複数回にわたって、各回テーマに沿った内容で各分野でご活躍されているエンジニア/研究者に講演いただきます。

また、講演後には視聴者の方も参加できる二次会会場(Zoom)を用意しています。登壇者と共にデータエンジニアリングに関する学びを深めましょう。

開催背景

Forkwell からのコメント

本イベントは、Infra Study Meetup に注目していただいた primeNumber さまからのお声がけで実現したイベントです。Infra Study Meetup とは主催する団体、扱うテーマが異なることから、別シリーズとして立ち上げました。Infra Study 参加者と共に得たイベントノウハウを継承し、データ分析領域でも学びの場を作ります。
本家 Infra Study にご参加いただいた方はもちろん、データ分析に関心のある方ならどなたでも参加可能です。エンジニアリングと密接に関わるデータ分析領域について楽しく学んでいただけましたら幸いです。
Forkwell 事業責任者 赤川

primeNumber からのコメント

弊社はデータ分析基盤向けの総合支援サービス「trocco」を運営しているのですが、その中で「どういう分析基盤を作っていけばいいのか?」というご質問をよく伺います。そのような方向けに何か有益な情報をご提供できる場はないかと考えた時に、本イベントの開催を思いつきました。
そんなタイミングで、「Infra Study Meetup」という反響が大きいイベントがあるのを見つけ、「データ分析基盤」版を作りませんかとお声がけした所から開催に至りました。
これから分析基盤を作ろうとされている方や、現在運用中の基盤の改善アイデアを探している方に、有益な場に出来ればと思っております。
primeNumber 取締役執行役員CPO 小林寛和

こんなエンジニアにおすすめ

  • データ分析に関わる事例を知りたい方
  • 自社内にデータ分析基盤を作ろうと検討中の方
  • 自社のデータ分析基盤をより効率的にしたいと考えている方
  • データ分析領域に幅を広げてみたいソフトウェアエンジニア・インフラエンジニア

プログラム第2回「データ収集基盤とデータ整備のこれまでとこれから」

第1回勉強会では「DWHとBIツール」の選び方について学びました。

これらはデータを扱うためのツールですので、当然「データ」そのものを集めないといけません。実は大容量データの取り扱いには専門的な知識が要求されます。

今回の勉強会では、データを集めるための基盤の話と、集めたデータをビジネス活用しやすい状態に整備する方法の、2つのテーマについて学びます。

基調講演には「前向きデータ整備人」勉強会主催者のしんゆう氏をお招きし、今回のテーマの概論をお話し頂いた後、実際にデータ収集・整備を行われている2社の事例から学んでいきます。

基調講演「事業に貢献するデータ基盤を作ろう・考え方編(仮)」

 しんゆう 氏(@data_analyst_
データ周りのことをフリーランスでやっている人

◼発表内容について

データ活用は近年になりデータを生成して集める仕組みのデータ基盤に注目が集まりつつあります。 そこで事業に貢献するデータ基盤を作るためにはどうするのが良いのか、データ基盤をデータ分析プロセス全体の中で捉えるところから始めて整備することの意義まで技術的な課題と平行して考えておきたいことを幅広くお話します。

事例紹介1「データ収集の基本とJapanTaxiにおける実践例」

 渡部 徹太郎 氏(@fetarodc
Mobility Technologies データエンジニア
「ビッグデータ分析のシステムと開発がこれ1冊でしっかりわかる教科書」著者

◼発表内容について

データ基盤へのデータ収集方法について、基本的な内容を説明します。具体的には、取るデータの種類(ファイル、DB、API)とデータのとり方(バッチ、リアルタイム)の組み合わせに対して典型的なシステム構成を紹介します。 また、後半ではJapanTaxi分析基盤でどのように実現しているか事例を紹介します。

事例紹介2「(タイトル未定)」

 永井 伸弥 氏(@shinya_131
株式会社メルカリ JP Analyst

◼発表内容について

To be announced.

タイムスケジュール(目安)

時間 内容
19:30〜 司会より挨拶(10分)
19:40〜 基調講演1(20分)
しんゆう氏「(タイトル未定)」
20:00〜 質疑応答(10分)
20:10〜 スポンサー1(5分)
20:15〜 休憩(5分)
20:20〜 事例1(20分)
渡部 徹太郎氏「データ収集の基本とJapanTaxiにおける実践例」
20:40〜 質疑応答(10分)
20:50〜 スポンサー2(5分)
20:55〜 休憩(5分)
21:00〜 事例2(20分)
調整中「(タイトル未定)」
21:20〜 質疑応答(10分)
21:30〜 アフタートーク(15分~)
21:55 完全終了

※ タイムスケジュールは目安です。完全解散21:45までの間で、より参加者にご満足いただける形で各コンテンツ時間が調整される場合がございます。
※ プログラムは変更となる可能性があります。随時こちらで更新いたします。

今後の勉強会で扱うテーマ

  • 7/15(水)|第1回「モダンなDWH/BIツールの選び方と、実際の運用事例」
  • 8/19(水)|第2回「データ収集基盤とデータ整備のこれまでとこれから」
  • 9/16(水)|第3回「分析基盤をうまく組織に浸透させる方法(仮)」

参加方法

今回のオンライン勉強会は YouTube Live を使用してライブ配信いたします。
また、コメントや感想は Twitter、講演内容に関する質問は Slido へお願いいたします。
下記、各種URLよりご参加くださいませ!

▍イベント視聴用 YouTube Live URL
- https://youtu.be/eEhwBImCKKc

▍質疑応答用 Slido URL
- https://sli.do/DataEngineeringStudy

▍Tweetリンク
- https://twitter.com/intent/tweet?hashtags=DataEngineeringStudy

ライブ配信終了後、アーカイブ動画の公開を予定しております。
当日の開催時間にライブ参加できない方も、こちらのページより参加申込みの上、アーカイブ動画をご視聴いただけます。

なお、Twitterタイムラインと連動したリアルタイムなイベント参加体験を重視するため、YouTube Liveの追いかけ再生はできない設定となりますこと、ご了承くださいませ。 配信中のプログラムからの視聴、あるいはライブ配信終了数時間後から再生可能になるアーカイブ動画をご視聴ください。

留意事項

  • Forkwell、primeNumber の宣伝をさせていただく時間がございます。予めご了承ください。
  • IT技術者の方を対象としたイベントのため、非エンジニアの方のご参加、ならびに同業に属する方の当イベント内でのリクルーティング活動につきましてご遠慮いただいております。
  • イベントの風景を、Forkwellメディア上の記事(イベントレポート)に掲載することがございます。掲載を希望されない方は、当日Zoomチャットまたはイベントページ問い合わせフォームより、掲載希望されない旨をお伝えください。
  • イベント参加時にご入力いただいた情報は、次のプライバシーポリシーに基づき、primeNumber のみで適切に扱います。 https://primenumber.co.jp/privacy/

また、ご参加者の方々が最大限楽しんで頂けるよう、運営サイドで参加にふさわしくないと判断させて頂いた方については、イベント中であろうとご退席をお願いすることがございます。

  • 保険、宗教、ネットワークビジネスの勧誘が目的と見られる方
  • その他運営サイドで参加が不適切だと判断した方 誠に恐れ入りますが、あらかじめご了承くださいませ。

主催・協力

主催/コミュニティ支援協賛

「成長し続けるエンジニアを支援する」サービスを運営する Forkwell



分析基盤向けデータ統合SaaS「trocco」の開発・運営を行う primeNumber

後援

天神放送局様にライブ配信代行として協力いただいております。

天神放送局はライブ配信を広めることで「機会格差をなくす」ことをミッションとしたライブ配信ユニットです。
コミュニティイベントが増え続ける中、コンテンツを熱意ある人に届けるために活動しています。


ソニー株式会社様にコミュニティ運営費用を協力いただいております。


注意事項

※ こちらのイベント情報は、外部サイトから取得した情報を掲載しています。
※ 掲載タイミングや更新頻度によっては、情報提供元ページの内容と差異が発生しますので予めご了承ください。
※ 最新情報の確認や参加申込手続き、イベントに関するお問い合わせ等は情報提供元ページにてお願いします。

類似しているイベント