みんなの考えた最強のデータ基盤アーキテクチャ2024前半おまとめ拡大版SP！

2024/08/21(水)19:30 〜 22:00 開催

ブックマーク

#Google BigQuery, #AWS, #Kaggle

イベント内容

みんなの考えた最強のデータ基盤アーキテクチャ2024前半おまとめSP！

「みんなの考えた最強のデータ基盤アーキテクチャ」はdatatech-jpで集ったデータエンジニアが、みなさんが考える最強のデータ基盤アーキテクチャを紹介し合うという夢のような企画です。

今回は2024前期版を実施します！
前回、前々回はデータアーキテクチャをテーマとしては異例の参加登録1,000名超えの大盛況なイベントとなりましたm(__)m

今回のアップデート

より多様な現場話を聞くべく、広く発表者を募集することにしました！
十分な発表時間を確保するため発表人数を適正化しました。

こんな方におすすめ

データ基盤構築現場の生の声を聞きたい方
データ基盤構築に携わっている方
データを活用するべくデータの集約方法について検討している方
データにまつわる技術に興味がある、または好きな方

イベントの趣旨

発表者により、その時点で最強と考えるデータ基盤アーキテクチャの紹介を通して、
参加者が最新のデータ基盤アーキテクチャをより深く理解することを目的としたものです。
理解を目的としており、優劣を決めたり論破する場ではありません。

タイムテーブル

**※発表人数拡大のため19:30〜に変更になります※

時間	タイトル	発表者
19:30 - 19:40	オープニング	ゲンシュン・みっつ
19:45 - 20:00	BigQueryからSnowflakeへ移管して作る最強のデータ基盤〜Data Ingestion編〜	civitaspo（きびたすぽ）
20:00 - 20:15	DataOpsハンズオンの設計と構築	ぼうさん（Shumpei Kubo）
20:15 - 20:30	マルチデータプロダクト基盤としての Snowflake の権限管理とコスト管理	Kevin
20:30 - 20:45	BQ + dbt + Lookerを用いた、月間800億件以上の広告リクエストに対するデータモデリング	ucchi-・mytk
20:45 - 21:00	Azure Databricksで考えるコスト管理	髙松築
21:00 - 21:15	[過去登壇者の今] データドリブン経営への転換	近森淳平(@pei0804)
21:15 - 21:20	休憩・バッファ	-
21:20 - 22:00	[パネルディスカッション] みんなの考える最強のアーキテクチャって？	スピーカー全員+運営メンバー

スピーカー(発表順)

civitaspo（きびたすぽ）

X（旧Twitter）https://x.com/civitaspo
2013年にDeNA入社。Hadoopエンジニアとしてキャリアをスタート。その後、BIツール、ETLツールの自社開発等を経験した後、MLOps、SRE、DevOps、セキュリティ領域のキャリアを経て、2022年にLayerX入社。現在はバクラク事業部にてDevOps・DataOps領域のエンジニアとして、データ基盤を含めたプラットフォーム全体の設計・実装を行っています。

ぼうさん（Shumpei Kubo）

Twitter（現X）：https://x.com/_bou_3
2002年に銀行系SIerにシステムエンジニア（SE）として入社し、インフラやプロマネ等を担当。2015年に外資系セキュリティ会社にセールスエンジニア（SE：技術営業）として転職。外部のコミュニティ活動（HardeningProject、ゆるいハッキング大会等）に参加し始める。
2020年より現職（IBM）にてDataOps製品の技術営業として活動。社内外のイベント（「前向きデータ整備人」等）への登壇・主催、技術ブログの執筆やハンズオンなどを企画・実施。
https://community.ibm.com/community/user/japan/blogs/provision-ibm1/2021/11/12/vol97-0020-ai
https://www.ibm.com/blogs/solutions/jp-ja/terminology_definition/
https://speakerdeck.com/shumpei3/
https://qiita.com/Shumpei_Kubo
https://blogs.trellix.jp/hardening-report-2017
発言は個人としてのものであり、所属する組織を代表するものではありません。

Kevin

X（旧Twitter）：https://x.com/Kevinrobot34
2020年3月に大学院修了後、ナウキャストへ入社し主にPOSデータのパイプラインの作成・管理、またそのデータの分析を実施。現在では社内のデータ分析基盤開発チームのリーダーとしてAWSやSnowflakeのクラウド環境の整備や技術検証などを担当。データが好きで、KaggleではCompetition Masterを獲得したほか、複数の機械学習コンペで受賞歴あり。

ucchi-

X（旧Twitter）https://x.com/hanon52_
慶應義塾大学院経済学研究科にてマーケティングサイエンスを専攻。データ分析を支えるエンジニアリングに興味を持ち、2021年4月にピクシブ株式会社にエンジニアとして入社。広告のデータ基盤やBI、広告配信システムの開発、Salesforce 導入を担当。現在は、データを価値に繋げる領域を中心に、マーケティングやカスタマーサクセスなど事業部の枠を超えたデータ利活用を推進している。Google Cloud Next Tokyo'23 等で登壇。

mytk

X（旧Twitter）https://x.com/mytk0u0
2018年にピクシブ株式会社に新卒入社。作品レコメンド機能の開発に数年従事したのち広告部署に異動。広告配信システム・ロジックやデータ基盤・BIの開発などに携わる。
直近では広告領域のデータエンジニアの他、部署横断での開発生産性の可視化や人事関連のデータ整備・活用なども進めている。

髙松築

株式会社アドインテで小売企業のID-POSデータを連携したデータプラットフォームを構築。データエンジニアリングマネージャーとして、クライアントとのデータ連携からデータ突合ロジック、AIモデル、BI開発などを行っている。
大学８年生への進級を目前に就職し社会人歴３年目、python歴３年目、SQL歴３年目、Pyspark歴３年目とPysparkネイティブエンジニアとして活躍中。
2年目、3年目とMicrosoft Top Partner Enginner Awardを受賞
直近ではMicrosoftイベント、Databricksイベントでの登壇や、大学院の研究室向けなどにハンズオンセミナーを行うなど、データエンジニアリングの布教活動に尽力中です！

近森淳平(@pei0804)

X（旧Twitter）https://x.com/pei0804
VP of Data@CARTA MARKETING FIRM/CARTA HOLDINGS（当時VOYAGE GROUP）
子会社のZucksに2018年に新卒入社。広告配信プラットフォームのアプリケーションエンジニアとしてスタート。その後、自社のレポーティング基盤を一新するプロジェクトに携わり、データエンジニアとしてのキャリアをスタート。現在は、CARTA MARKETING FIRMにおいて、データ基盤の開発・運用、組織設計、採用戦略の立案に携わっています。 2024年 Snowflake DataSuperheroesとして、Snowflakeコミュニティ活動にも注力しています。

MC

ゲンシュン

https://x.com/gen_shun
Unipos株式会社コーポレート部CDP企画室PMO兼データエンジニアをしております。
理学部化学科卒、大学院中退後にUnipos(旧Fringe81)にフロントエンドエンジニアとして入社。新卒採用責任者、QAエンジニア、広告事業のプロマネを経て、データ基盤の立ち上げに参画。2年間データ基盤の開発、保守運用、分析依頼、データ民主化活動を通じて、今期からCDP企画室の立ち上げが始まりました。得意領域はtypescript、dbt、新卒採用面談。
最近ゼルダの伝説神々のトライフォースやってます

みっつ

X（旧Twitter）：https://x.com/kaz3284
次世代データ基盤構築担当としてkubell(旧Chatwork)へ入社。Snowflake Data Superhero'24/'23, DataPolaris'22。
以前はアド系ベンチャーのエンジニアとして、サーバ運搬から始まり、開発、新人育成と様々な役割を経験。特に大規模データ処理の効率化に情熱を注いできました。
サービス拡大と比例して日々難度が増していくアド系データ処理にて、地獄の泥沼運用から生還した経験から、最先端のクラウド（マネージドサービス）を乗りこなして運用労力を最小化することに無上の喜びを感じます。