Workflow Hacks! #1

イベント内容

Workflow Hacks! #1 

概要

ワークフローをプログラミングしてビッグデータ処理に挑む人（または、これから挑戦しようとする人）のための集まりです。ビッグデータという言葉が指すものには、データの大きさ(volume)、扱うデータの種類(variety)の多さ、解析の多様性(big/small analytics)、処理に要求されるスピード(velocity)など多様な意味が含まれます。このいずれかの要素が加わるだけで問題が途端に難しくなり、正しくワークフローを記述する、デバッグする、期日までに処理を終えるなどが困難になってきます。今回はゲストにビジネス、アカデミアの分野でビッグデータ処理の最前線で活躍されている神林氏、笠原氏、古橋氏をお招きし、Hadoop, Spark, スパコンなどでビッグデータを扱う現場の苦労や、その問題にワークフローを使ってどう立ち向かっているのかなど、貴重な経験についてお話ししていただきます。それらの経験を踏まえ、ビッグデータをいかに人が扱いやすい形にするか、将来必要となる技術についてパネルディスカッションを行い、ワークフローによるデータ処理の未来を占います。

（内容は予告なく変更されることがあります。）

タイムスケジュール

時間	講演内容
18:30 -	会場・受付開始
19:00 - 19:30	『イントロダクション・Workflow Hacks!』 　オープンソースのワークフロー技術(Airflow, Luigi, Sparkなどデータ処理DSL周辺の話題）について紹介し、ワークフローをプログラミングする基礎（フローの記述と実行の分離、再現性、冪等性など）について解説します。 Treasure Data, Inc. 斉藤 太郎
19:30 - 20:00	『業務系バッチ処理のデータフローの処理のポイント ～Asakusaの開発時点で考えたこと』 (株)ノーチラス・テクノロジーズ 代表取り締まられ役 神林飛志
20:00 - 20:10	休憩
20:10 - 20:40	『生命系ビッグデータ解析におけるチャレンジ 〜ゲノム配列情報爆発との戦い〜』 DNA配列シークエンサーはこの十年間で革命的な進歩を遂げ、日常的に取り扱うDNA配列量は約１００億倍となりました。突如として大量のデータ解析を強制されることとなった業界の苦しみやワークフロー設計の（バッド？）ノウハウ・課題を紹介します。 東京大学大学院 新領域創成科学研究科 笠原 雅弘
20:40 - 20:50	『ワークフロー開発管理 実践編』 Fluentdの柔軟性、Embulkの使いやすさを、ワークフロー管理でも実現するにはどうするか。これまでのOSS開発やTreasure Dataでの経験に基づいて、開発環境からマルチリージョンの本番環境でも使えるワークフローの開発・運用手法を提案します。 Treasure Data, Inc. 古橋 貞之
20:50 - 21:50	バネルディスカッション「ワークフローの未来」 ワークフロー構築の課題、デバッグの苦労など、そして今後必要な技術、また10年後にあるべき姿に関して、忌憚なく議論します。
~22:30	懇親会

持ち物

名刺１枚