Treasure Data Tech Talk 〜クラウドサービスを支える技術〜

2015/03/11(水)19:00 〜 22:00 開催
ブックマーク
#データ分析, #Hadoop, #SQL
参加枠申込形式参加費 参加者
一般
 先着順 無料 181人 ／ 定員200人

イベント内容

Treasure Data Tech Talk
〜クラウドサービスを支える技術〜

概要説明

トレジャーデータから古橋氏、斉藤氏、他エンジニアの方々を迎え、12兆レコードを管理するビッグデータサービスを提供するシステムの内側を紹介していただきます。
クラウドでマネージドサービスを提供するための考え方や仕組み、またエンジニアの日常について情報交換するためのイベントです。

タイムスケジュール

時間 講演内容
18:30 - 開場
19:00 - 19:25
Treasure Dataのデータベースアーキテクチャ 〜 毎秒45万レコードでスケールし続けるスキーマレス･データベース 〜
　FURUHASHI Sadayuki (@frsyuki)

Treasure Dataのストレージシステム『Plazma』は、データ解析用途に特化した分散型データベースです。 カラム指向、スキーマレス、冪等な操作などの特徴を備え、毎秒平均45万レコードという速度で、いまこの瞬間もスケールし続けています。 FluentdからのストリーミングインポートやINSERT INTO句では、データの重複や欠損を防ぎ、高い信頼性と高速な動作を維持し続けるために様々なメカニズムが導入されています。 ここではPlazmaのインポートアーキテクチャとHadoop、Prestoとの結合に焦点を置き、そのアーキテクチャを解説します。
19:30 - 19:55
Internals of Presto Service
　Taro L. Saito (@taroleo)

Treasure Dataでは分散SQLクエリエンジンであるPrestoをサービスとして提供しています。 その内部では、S3やRiakCS上にある列志向データへの並列アクセス、MessagePackを用いた高速データ読み取り、クエリプランの書き換えなど、Treasure Data独自の最適化を行っており、ここではそれらの高速化技法について紹介します。 また、過去の膨大なSQLヒストリからPrestoがどのように利用されているかの分析、そこから導かれるさらなる高速化へのアプローチについて紹介します。
20:00 - 21:00
LT

HDP2 & YARNの運用で抑えておくべきポイント (@ryu_kobayashi)
Datadog & Hotdog で Presto と Hadoop を運用する話 (@_yyuu)
Mobile SDK & SDK Backends (@komamitsu_tw)
サポートエンジニアの日常 (@nora96o)
トレジャーデータとFluentd (@tagomoris)
21:00 - 22:00 懇親会（無料）

参加費

無料

持ち物

名刺１枚

#ハッシュタグ

#tdtech

新規会員登録

このイベントに申し込むには会員登録が必要です。
アカウント登録済みの方はログインしてください。

※ ソーシャルアカウントで登録するとログインが簡単に行えます。

※ 連携したソーシャルアカウントは、会員登録完了後にいつでも変更できます。

関連するイベント