PLAZMA TD Tech Talk 2018 at Shibuya

概要

Treasure Data PLAZMAの一環として、今回は平日夜に2日間をつかってTreasure DataエンジニアによるTD Tech Talk を行います!

• 10/16(火) Part 1 : https://techplay.jp/event/694467
• 10/17(水) Part 2 : https://techplay.jp/event/694468

2日目はTDで提供しているクエリエンジンであるPrestoおよびHive関連、および、データエンジニアリングやワークフローなど、分析環境にまつわるお話を中心にお伝えします！

またイベント後に懇親会(無料)を用意しています。ぜひご参加ください。

※ 当日は取材が入る可能性があります。またイベント内容等が後日公開される可能性があります。

会場

TECH PLAY SHIBUYA 東京都渋谷区宇田川町20-17 NMF渋谷公園通りビル 8F

タイムスケジュール

※ 当日予告なく時間配分・内容が変更になる可能性がございます。

トーク概要

18:00〜 Managing Machine Learning Workflows on Treasure Data by Michiaki Ariga

トレジャーデータにおいて複雑な機械学習ワークフローをどのように管理・実行すれば良いのかのベストプラクティスについて解説します。

DigdagことTreasure Workflow、Treasure MLことApache Hivemall、そしてKubernatesクラスタで動作するカスタムスクリプトを利用したワークフローの例を取り上げます。

18:30〜 データエンジニアリング業を加速するPresto UDFとdigdaの活用方法 by Kentaro Yoshida

Prestoに搭載された新しいUDFや、digdagの新機能を用いることで実現する効率的なワークフローを作りのテクニックを紹介します。

19:00〜 Hive2 as a new TD Hadoop core Engine by Ryu Kobayashi

Treasure Dataでは以前からHive2への移行を徐々に実地していましたが、今回、本格的に移行の準備を始めました。その際に発生した様々な問題点やパフォーマンスの向上等についてお話します。

19:45〜 Recent changes and challenges for the future Presto by Kai Sasaki

最新版のPrestoクエリエンジンには様々な改善点がオープンソースコミュニティの中で続けられています。このセッションではそれらの紹介とTreasure Data上でPrestoのバージョンアップを行う上で直面した問題とその解決策を紹介します。

20:15〜Treasure Dataを支える技術: Airframe編 by Taro L. Saito

AirframeはScala開発のための軽量ライブラリコレクションです。コンポーネント間の複雑なリソース管理を手軽にし、Dockerアプリケーションの設定や、MessagePack経由での柔軟なデータ管理を可能にします。このセッションでは、Airframeを使ったScala開発のベストプラクティスとデザインパターンを紹介していきます。

21:15〜 カスタムスクリプトを Workflow から実行する仕組みとその実行環境 by Muga Nishizawa

ユーザの多様化したニーズに応えるため、Workflow の一部として Python, Ruby プログラムを実行できる仕組みを提供しています。プログラムは、実行の分離・独立が考慮された遠隔の環境に安全に送信され、その上で実行されます。このセッションでは、この仕組みと実行環境の設計について紹介します。

参加対象

• ソフトウェアエンジニア
• リクルーティング、勧誘など、採用目的でのイベント参加はお断りしております
• 飲食のみを目的としたご応募・ご来場はご遠慮ください
• 補欠者の方は、ご来場いただいてもご入場いただくことが出来ませんのでご了承ください
• 欠席される場合は、お手数ですが速やかにキャンセル処理をお願い致します

参加費

無料

ハッシュタグ

#tdtech