TOP

Workflow Hacks! #1

Workflow Hacks! #1

参加枠申込種別参加費定員
一般
先着順 無料 171人 / 定員250人

イベント内容

Workflow Hacks! #1 

概要

ワークフローをプログラミングしてビッグデータ処理に挑む人(または、これから挑戦しようとする人)のための集まりです。ビッグデータという言葉が指すものには、データの大きさ(volume)、扱うデータの種類(variety)の多さ、解析の多様性(big/small analytics)、処理に要求されるスピード(velocity)など多様な意味が含まれます。このいずれかの要素が加わるだけで問題が途端に難しくなり、正しくワークフローを記述する、デバッグする、期日までに処理を終えるなどが困難になってきます。今回はゲストにビジネス、アカデミアの分野でビッグデータ処理の最前線で活躍されている神林氏、笠原氏、古橋氏をお招きし、Hadoop, Spark, スパコンなどでビッグデータを扱う現場の苦労や、その問題にワークフローを使ってどう立ち向かっているのかなど、貴重な経験についてお話ししていただきます。それらの経験を踏まえ、ビッグデータをいかに人が扱いやすい形にするか、将来必要となる技術についてパネルディスカッションを行い、ワークフローによるデータ処理の未来を占います。

(内容は予告なく変更されることがあります。)


タイムスケジュール

時間 講演内容
18:30 - 会場・受付開始
19:00 - 19:30
『イントロダクション・Workflow Hacks!』
 オープンソースのワークフロー技術(Airflow, Luigi, Sparkなどデータ処理DSL周辺の話題)について紹介し、ワークフローをプログラミングする基礎(フローの記述と実行の分離、再現性、冪等性など)について解説します。
Treasure Data, Inc. 斉藤 太郎
19:30 - 20:00
『業務系バッチ処理のデータフローの処理のポイント ~Asakusaの開発時点で考えたこと』
(株)ノーチラス・テクノロジーズ 代表取り締まられ役 神林飛志
20:00 - 20:10
休憩
20:10 - 20:40
『生命系ビッグデータ解析におけるチャレンジ 〜ゲノム配列情報爆発との戦い〜』

DNA配列シークエンサーはこの十年間で革命的な進歩を遂げ、日常的に取り扱うDNA配列量は約100億倍となりました。突如として大量のデータ解析を強制されることとなった業界の苦しみやワークフロー設計の(バッド?)ノウハウ・課題を紹介します。

東京大学大学院 新領域創成科学研究科 笠原 雅弘
20:40 - 20:50
『ワークフロー開発管理 実践編』
Fluentdの柔軟性、Embulkの使いやすさを、ワークフロー管理でも実現するにはどうするか。これまでのOSS開発やTreasure Dataでの経験に基づいて、開発環境からマルチリージョンの本番環境でも使えるワークフローの開発・運用手法を提案します。
Treasure Data, Inc. 古橋 貞之
20:50 - 21:50
 バネルディスカッション「ワークフローの未来」
ワークフロー構築の課題、デバッグの苦労など、そして今後必要な技術、また10年後にあるべき姿に関して、忌憚なく議論します。
~22:30
懇親会

持ち物

名刺1枚

本イベントは終了しました
2015/12/14(月)
19:00〜23:00
本イベントは終了しました
参加者
171人 /定員250人
会場
TECH PLAY SHIBUYA
東京都渋谷区宇田川町20-17 NMF渋谷公園通りビル 8F