データ分析用次世代データフォーマットApache Arrow勉強会

イベント内容

(イベント画像のライセンスはApache License 2.0で著作者はThe Apache Software Foundationです。)

データ分析用次世代データフォーマットApache Arrow勉強会

みなさん、Apache Arrowはご存知ですか!?Apache Arrowは現在主流のOSSのデータ分析ソフトウェアの開発者たちが共同で開発しているデータ分析用の次世代データフォーマットです。データ分析をしている人ならApache SparkPandasApache DrillApache HadoopApache CassandraRの中に知っているプロダクトがあるはずです。これらはApache Arrowの開発に参加しているプロダクトの一部です。いかにOSSのデータ分析ソフトウェアがApache Arrowに期待しているかがわかります。

これらのプロダクトはいずれApache Arrowを使うようになります。これらのプロダクトが使うようになると他のプロダクトも追従し、近いうちにスタンダードなフォーマットになるでしょう。今のうちにApache Arrowを学んでおきましょう!

Apache Arrowが解決する問題

データ分析は多くの技術を活用して実現します。そのため、1つのプロダクトだけでなにもかも実現するのではなく、複数のプロダクトで連携して実現します。適材適所!そのときに課題になるのがデータ交換です。

1つのプロダクトで小さなデータを分析する場合は同一プロセス内でメモリー上のデータをやりとりすれば済みます。しかし、大きなデータを扱う場合、複数のプロダクトで連携する場合はそうもいきません。処理対象のデータを交換する必要があります。

たとえば、JSONにフォーマットしてデータを交換するとしましょう。データを送る側ではJSONにフォーマットする処理が発生し、データを受け取る側ではJSONをパースする処理が発生します。交換するデータ量が多くなればなるほどこの処理コストを無視できなくなります。

その問題を解決するのがApache Arrowです。Apache Arrowはデータのフォーマット・パースコストをほぼ0にします。圧倒的に高速なのです。

Apache Arrowにより、これまでよりも複数のプロダクトで連携してデータ分析できるようになります。既存のプロダクトはもっと効率よく連携できるようになりますし、これまであまり連携できなかった言語でもデータ分析処理の一部を担えるようになります。たとえば、RubyやLuaやGoやRustやJavaScriptなどをもっとデータ分析処理に活用できるようになるでしょう。

こんな人に来て欲しい

  • すでにデータ分析をしている人
  • Ruby・Lua・Go・Rust・JavaScriptなどでデータ分析をしたい人

クラウド上のサービスでデータ分析をしている人たちはApache Arrowに触れる機会はほとんどないでしょうが、どうして速くデータ分析できるかを知っておくと役に立つことがあるかもしれませんよ!

タイムテーブル

18:45 - 19:00 受付
19:00 - 19:05 会場説明
19:05 - 20:00 「Apache Arrow」
Apache Arrowが解決したい問題、設計方針、速さの秘密、現在できること、今後できるようになることなど、Apache Arrowを知らない人でもApache Arrowのことがわかるようになる説明をします。
質問は随時受け付けます。
須藤功平
20:00 - 21:00 「Apache Arrowの開発に参加しよう!」
Apache Arrowの開発に参加する方法を説明します。
質問は随時受け付けます。
須藤功平

詳細

  • 日程:2017年6月13日(火)
  • 時間:19:00~21:00
  • 場所:株式会社Speee(東京都港区六本木4-1-4黒崎ビル5階)(注意:4階ではなく5階です!)
  • アクセス:大江戸線・日比谷線六本木駅(徒歩6分)、南北線六本木一丁目駅(徒歩6分)

参加費

無料

持ち物

なし

WiFi

あり

注意事項

※ こちらのイベント情報は、外部サイトから取得した情報を掲載しています。
※ 掲載タイミングや更新頻度によっては、情報提供元ページの内容と差異が発生しますので予めご了承ください。
※ 最新情報の確認や参加申込手続き、イベントに関するお問い合わせ等は情報提供元ページにてお願いします。