BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//https://techplay.jp//JP
CALSCALE:GREGORIAN
METHOD:PUBLISH
X-WR-CALDESC:Data Engineering Meetup #1
X-WR-CALNAME:Data Engineering Meetup #1
X-WR-TIMEZONE:Asia/Tokyo
BEGIN:VTIMEZONE
TZID:Asia/Tokyo
BEGIN:STANDARD
DTSTART:19700101T000000
TZOFFSETFROM:+0900
TZOFFSETTO:+0900
TZNAME:JST
END:STANDARD
END:VTIMEZONE
BEGIN:VEVENT
UID:720285@techplay.jp
SUMMARY:Data Engineering Meetup #1
DTSTART;TZID=Asia/Tokyo:20190319T191500
DTEND;TZID=Asia/Tokyo:20190319T220000
DTSTAMP:20260406T044237Z
CREATED:20190218T061651Z
DESCRIPTION:イベント詳細はこちら\nhttps://techplay.jp/event/72028
 5?utm_medium=referral&utm_source=ics&utm_campaign=ics\n\n概要\nData Eng
 ineering Meetup は、データエンジニアリング（データの収
 集・管理・処理・可視化など）に関する技術の情報交
 換・共有を行うためのミートアップイベントです。LINE
 株式会社の有志のエンジニアによって運営されていま
 す。\nタイムテーブル\n\n\n\n時間\nタイトル / 登壇者 (
 敬称略)\n\n\n\n\n19:00 - 19:15\n開場・受付\n\n\n19:15 - 19:20\n
 イベント説明\n\n\n19:20 - 19:45\n「Spark 2.4 & 3.0 - What's next -
 」 株式会社エヌ・ティ・ティ・データ 猿田 浩輔\n\n\n1
 9:45 - 20:10\n「持続可能なデータ基盤のためのデータの
 多様性に対する取り組み」 株式会社サイバーエージェ
 ント 善明 晃由\n\n\n20:10 - 20:15\n休憩\n\n\n20:15 - 20:40\n「De
 ep Dive into Spark SQL with Advanced Performance Tuning」 Databricks Inc
 . 上新 卓也\n\n\n20:40 - 21:05\n「Improving Spark SQL Performance」
  LINE株式会社 吉田 啓二\n\n\n21:05 - 22:00\n懇親会\n\n\n\nセ
 ッション内容紹介 (敬称略)\n1) Spark 2.4 & 3.0 - What's next -\
 n株式会社エヌ・ティ・ティ・データ 猿田 浩輔  \nApache
  Sparkはバージョンアップを重ねるごとに、パフォーマ
 ンスだけではなくユーザビリティの向上も両輪で行わ
 れています。昨年11月にリリースされたSpark 2.4ではKuber
 netes対応の強化やAvroフォーマットへの対応、高階関数
 を含むビルトイン関数の拡充などが行われました。\n
 また次期メジャーアップデートとなる3.0では、高階関
 数の更なる拡充やAIに関連したユースケースをカバー
 する取り組み「Project Hydrogen」が本格的に始動する見通
 しです。\n本セッションでは、2.4のアップデートをお
 さらいしつつ、3.0以降でのアップデートが検討されて
 いる主だった機能やエンハンスメントを掻い摘んでご
 紹介します。\n2) 持続可能なデータ基盤のためのデー
 タの多様性に対する取り組み\n株式会社サイバーエー
 ジェント 善明 晃由  \nサイバーエージェントではAbemaTV
 やAmebaブログをはじめとする多様なサービスを提供し
 ており、データ活用においては様々な形式のデータを
 処理する必要があります。本発表では、HBase関連シス
 テムの統合など、持続的にデータ基盤を開発・運用し
 ていくためのデータの多様性に対する取り組みについ
 て紹介します。\n3) Deep Dive into Spark SQL with Advanced Performa
 nce Tuning\nDatabricks Inc. 上新 卓也  \nSpark SQLはApache Sparkの
 コアモジュールの一つで、SQLや使いやすいAPIによる関
 係演算をスケーラブルで効率的に行うコンポーネント
 です。様々なデータソース(例: Hive\, Cassandra\, Kafka\, Orac
 leなど)やファイルフォーマット(例: Parquet\, ORC\, CSV\, JSO
 Nなど)のデータを処理、解析することができます。\n本
 講演では、Spark SQLのクエリ処理ライフサイクルの技術
 的詳細について解説し、またどのようにパフォーマン
 スチューニングをするのかを紹介します。\n4) Improving S
 park SQL Performance\nLINE株式会社 吉田 啓二  \nLINE では、 "O
 ASIS" という、独自に開発した内製のデータ分析ツール
 を 2018 年 4 月から運用しており、 LINE の各社員が、こ
 のツール上で Spark アプリケーション (Spark\, Spark SQL\, Py
 Spark\, SparkR) を書いて実行することで、担当サービスの
 データ分析やレポート作成、 ETL 開発・運用などを行
 っています。全社員が自由に Spark SQL クエリを書いて
 実行できる環境において、データ基盤のリソースが効
 率的に使用されるようにするためには、長時間実行さ
 れる非効率的なクエリの処理性能を、ツール・データ
 基盤側で改善することが重要になります。この発表で
 は、テーブル・パーティションの統計情報の取得や、
 独自のクエリ最適化ルールの適用、 Cost-based Optimizer の
 性能検証など、 OASIS における Spark SQL の性能改善の取
 り組みをご紹介します。\n会場\nLINE株式会社 (東京都新
 宿区新宿四丁目1番6号 JR新宿ミライナタワー 受付:5F)\nJ
 R新宿駅直結（ミライナタワー改札）（埼京線、総武本
 線、中央本線、湘南新宿ライン、山手線、成田エクス
 プレス）\n新宿三丁目駅徒歩1分（東京メトロ丸の内線
 、副都心線、都営地下鉄）\nバスタ新宿直結\n入館方法
 ・受付\n\n新宿ミライナタワー 5Fエントランスに設置し
 た受付で入館手続きをしてください。その際 connpass の
 本イベントで発行した受付票をご提示ください。\nス
 タッフからゲストカードを受け取り頂き、エレベータ
 ーで会場となる23Fにお上りください。ゲストカードは
 無くさないようご注意ください。イベント中は首から
 下げることをおすすめします。\nお帰りの際に必ずス
 タッフに返却願います。\n\n※ 19:15 までに 5F 受付にお
 越しください。受付の都合上、それ以降は入館いただ
 けない場合がございます。\n参加費\n無料\n持ち物\nconnp
 assで発行される受付票
LOCATION:LINE株式会社 新宿オフィス 東京都新宿区新宿四丁
 目1番6号 JR新宿ミライナタワー
URL:https://techplay.jp/event/720285?utm_medium=referral&utm_source=ics&utm
 _campaign=ics
END:VEVENT
END:VCALENDAR