PLAZMA TD Tech Talk 2018 at Shibuya : Part 1

2018/10/16(火)17:30 〜 22:30 開催

ブックマーク

#Treasure Data, #ビッグデータ, #SRE

#tdtech

イベント情報
資料

参加枠	申込形式	参加費	参加者
一般	先着順	無料	77人／定員100人

イベント内容

PLAZMA TD Tech Talk 2018 at Shibuya

概要

Treasure Data PLAZMAの一環として、今回は平日夜に2日間をつかってTreasure DataエンジニアによるTD Tech Talk を行います!

10/16(火) Part 1 : https://techplay.jp/event/694467
10/17(水) Part 2 : https://techplay.jp/event/694468

1日目はTD内部で扱われているコア技術やインフラ、プラットフォームシステム関連を中心にお伝えします！

またイベント後に懇親会(無料)を用意しています。ぜひご参加ください。

※ 当日は取材が入る可能性があります。またイベント内容等が後日公開される可能性があります。

会場

TECH PLAY SHIBUYA 東京都渋谷区宇田川町20-17 NMF渋谷公園通りビル 8F

タイムスケジュール

時間	内容	登壇者
17:30〜	開場・受付
17:55〜18:00	オープニング
18:00〜18:30	Treasure Data におけるレガシー Ruby on Rails アプリケーションとのつきあい方	Shimpei Makimoto
18:30〜19:00	Dive into PlazmaDB performance characteristics and PlazmaDB's future challenge	Keisuke Suzuki
19:00〜19:30	As a real remote Support engineer in Uganda (英語)	Ivan Mworozi
19:30〜19:45	Break
19:45〜20:15	Multi-Site Reliability Engineering. Scaling deployments, services, standards & practices to multi-site environments (英語)	Chris Maxwell
20:15〜21:00	Making KVS 10x Scalable - リアルタイム配信サーバを10倍最適化した方法	Sadayuki Furuhashi
21:00〜22:30	懇親会

※ 当日予告なく時間配分・内容が変更になる可能性がございます。

トーク概要

18:00〜 Treasure Data におけるレガシー Ruby on Rails アプリケーションとのつきあい方 by Shimpei Makimoto

td-api と社内で呼ばれている Treasure Data のウェブ API サービスは Ruby on Rails で実装されています。

誕生から7年が過ぎ、 td-api は大きく育ち、様々な役割を担うモノリシックなアプリケーションになりました。

この発表では、われわれがどのようにこのレガシーなアプリケーションと付き合い、開発を進めているかをお話します。

18:30〜 Dive into PlazmaDB performance characteristics and PlazmaDB's future challenge by Keisuke Suzuki

PlazmaDBは、Treasure Dataにインポートされたデータを格納する、分析クエリに特化した分散ストレージシステムです。日次4000億レコードのインポート、50万クエリのワークロードを支えるPlazmaDBの性能特性について、本番環境のワークロードの分析やベンチマークによりプロファイリングを実施しました。そこで得られた知見とPlazmaDBの今後の挑戦について紹介します。

19:00〜 As a real remote support engineer in Uganda (英語) by Ivan Mworozi

Challenges & Solutions for working remotely on a team spread in two timezones and location without any Data engineering community.

19:45〜 Multi-Site Reliability Engineering. Scaling deployments, services, standards & practices to multi-site environments. (英語) by Chris Maxwell

As Arm Treasure Data grows, so do our customers, and their needs for additional data residency sites and regions. Each new site brings challenges for managing and operating services at scale spread across the globe.

The Site Reliability Engineering team has been working to standardize, automate, orchestrate operable services and hand them back to service owners.

This is our journey of 275 to 400+ service deployments, moving from implicit to explicit definitions of our infrastructure and dependencies, introducing standards and practices to reduce engineer time to understanding, making service and deploy intent observable, and building for handover to service owners.

20:15〜 Making KVS 10x Scalable - リアルタイム配信サーバを10倍最適化した方法 by Sadayuki Furuhashi

Treasure Dataでは、FluentdやEmbulkを始めとして、大量のデータをスムーズに収集するためのミドルウェアを開発してきました。Ion KVSはその逆方向、つまり高速なデータの配信を担うシステムです。現時点で160億件以上のデータを保存・配信しています。DynamoDB上に構築された本システムはスケーラビリティ上の問題を抱えていましたが、Aerospikeによる置き換え、RocksDBの採用などの検討を経て、10倍以上の効率化を達成することに成功しました。本セッションでは、直面した問題について解説すると共に、検討したが採用しなかった手法を含め、その研究開発について紹介します。