Spark Meetup

概要

Sparkのコミッターである Aaron Davidson さんが Scala祭 で来日してくださるので、それに伴いScala祭の翌日にもSparkの勉強会をします。Aaronさんは、コアな部分を担当してるので、障害対応やSpark SQLなどの、濃い話が聞けるかもしれません？ また、Sparkのコントリビュータである@ueshinさんにも話をしてもらう予定です。 時間の詳細はまだ今後変動するかもしれませんが、最後には質問タイム、もしくは発表したい方がいれば他にも発表があるかもしれません。

入場方法

• 歌舞伎座タワーへは、地下鉄各線の東銀座駅から地下で直結しております。
• 歌舞伎座タワーのエレベータで 7Fスカイロビーで乗り換えて 、14Fまでお越しください。
• 14Fについたら廊下を右奥まで進むとドワンゴのセミナールームがあります。

その他

• 無線LANと電源はありますが、電源は床埋込み式で Macのアダプタが刺さりません 。電源タップをご持参ください。
• その他、質問や当日の連絡等は @xuwei_k まで。
• 直前の公開になってしまったので、他の発表を募っても厳しいだろうし、なしでもいいかなと思ってますが、時間はそれなりにあるので、もし今からでも発表してくれる方がいたら、コメント欄でもtwitterでメンションでもいいので、気軽に声かけてください

Aaron Davidson さんの発表予定内容

Failing Gracefully: Achieving Fault Tolerance in Spark

Spark is well known for being a fast, in-memory, generalized cluster-compute engine. Performance and ease-of-use are both excellent characteristics, but there is a another slightly less sexy feature that is absolutely necessary in a practical environment: the ability to tolerate failures. Fortunately, Spark comes bearing a wealth of capabilities to handle machine and program failures. This talk will go into detail about the architecture of Spark core, with a special focus on how each component deals with failures. Topics covered may include speculative execution, task retry, executor recovery, cache repair, job fault tolerance, and Spark's consistency model guarantees.