Data Engineering Meetup #1

概要

Data Engineering Meetup は、データエンジニアリング（データの収集・管理・処理・可視化など）に関する技術の情報交換・共有を行うためのミートアップイベントです。LINE株式会社の有志のエンジニアによって運営されています。

タイムテーブル

セッション内容紹介 (敬称略)

1) Spark 2.4 & 3.0 - What's next -

株式会社エヌ・ティ・ティ・データ 猿田 浩輔

Apache Sparkはバージョンアップを重ねるごとに、パフォーマンスだけではなくユーザビリティの向上も両輪で行われています。昨年11月にリリースされたSpark 2.4ではKubernetes対応の強化やAvroフォーマットへの対応、高階関数を含むビルトイン関数の拡充などが行われました。 また次期メジャーアップデートとなる3.0では、高階関数の更なる拡充やAIに関連したユースケースをカバーする取り組み「Project Hydrogen」が本格的に始動する見通しです。 本セッションでは、2.4のアップデートをおさらいしつつ、3.0以降でのアップデートが検討されている主だった機能やエンハンスメントを掻い摘んでご紹介します。

2) 持続可能なデータ基盤のためのデータの多様性に対する取り組み

株式会社サイバーエージェント 善明 晃由

サイバーエージェントではAbemaTVやAmebaブログをはじめとする多様なサービスを提供しており、データ活用においては様々な形式のデータを処理する必要があります。本発表では、HBase関連システムの統合など、持続的にデータ基盤を開発・運用していくためのデータの多様性に対する取り組みについて紹介します。

3) Deep Dive into Spark SQL with Advanced Performance Tuning

Databricks Inc. 上新 卓也

Spark SQLはApache Sparkのコアモジュールの一つで、SQLや使いやすいAPIによる関係演算をスケーラブルで効率的に行うコンポーネントです。様々なデータソース(例: Hive, Cassandra, Kafka, Oracleなど)やファイルフォーマット(例: Parquet, ORC, CSV, JSONなど)のデータを処理、解析することができます。 本講演では、Spark SQLのクエリ処理ライフサイクルの技術的詳細について解説し、またどのようにパフォーマンスチューニングをするのかを紹介します。

4) Improving Spark SQL Performance

LINE株式会社 吉田 啓二

LINE では、 "OASIS" という、独自に開発した内製のデータ分析ツールを 2018 年 4 月から運用しており、 LINE の各社員が、このツール上で Spark アプリケーション (Spark, Spark SQL, PySpark, SparkR) を書いて実行することで、担当サービスのデータ分析やレポート作成、 ETL 開発・運用などを行っています。全社員が自由に Spark SQL クエリを書いて実行できる環境において、データ基盤のリソースが効率的に使用されるようにするためには、長時間実行される非効率的なクエリの処理性能を、ツール・データ基盤側で改善することが重要になります。この発表では、テーブル・パーティションの統計情報の取得や、独自のクエリ最適化ルールの適用、 Cost-based Optimizer の性能検証など、 OASIS における Spark SQL の性能改善の取り組みをご紹介します。

会場

LINE株式会社 (東京都新宿区新宿四丁目1番6号 JR新宿ミライナタワー 受付:5F)

JR新宿駅直結（ミライナタワー改札）（埼京線、総武本線、中央本線、湘南新宿ライン、山手線、成田エクスプレス）
新宿三丁目駅徒歩1分（東京メトロ丸の内線、副都心線、都営地下鉄）
バスタ新宿直結

入館方法・受付

1. 新宿ミライナタワー 5Fエントランスに設置した受付で入館手続きをしてください。その際 connpass の本イベントで発行した受付票をご提示ください。
2. スタッフからゲストカードを受け取り頂き、エレベーターで会場となる23Fにお上りください。ゲストカードは無くさないようご注意ください。イベント中は首から下げることをおすすめします。
3. お帰りの際に必ずスタッフに返却願います。

※ 19:15 までに 5F 受付にお越しください。受付の都合上、それ以降は入館いただけない場合がございます。

参加費

無料

持ち物

connpassで発行される受付票