今回は諸般の事情で録画できる状況に無かった為、
アーカイブ配信はありません🙏

概要

Open Table Format Study Group Tokyo (OTFSG Tokyo)はHudi, Iceberg, Delta等データレイクのためのデータフォーマットに関する知見や知識を共有する勉強会です。勉強会で発表することの出来るテーマはこれらデータフォーマットだけに限らず、その周辺技術(Parquet、Arrowなど、より低レイヤーのデータフォーマットやデータインテグレーションやデータガバナンスなどのデータレイク周辺技術)も含まれます。本勉強会の目的はオープンテーブルフォーマット周辺技術に関わる技術者や研究者の交流を活性化し、参加者全員の今後の実務に役立てる知見、知識の共有の場を設けることにあります。

SNS等におけるハッシュタグは#otfsg_tokyoでお願い致します。

重要なご案内

タイムテーブル

発表内容（※敬称略 ）

発表1 - Delta Lake: Liquid Clusteringについて理解する

発表者 - ktksq (Kitaoka)

DatabricksのSolutions Architectとして主にDNB/出版社の企業さまのご支援をしています。 今回はDelta Lakeの新しいパフォーマンス最適化の機能である「Liquid Clustering」についてDeep Diveしていきます (意気込み)

発表2 - Apache Iceberg Catalog選択のポイント

発表者 - べりんぐ

データ分析を支える基盤に興味があり、最近はApache Icebergに関するブログを書いています。本セッションでは、Icebergのクリティカルな構成要素であるIceberg Catalogについて、その概要と要件、実装の選択肢をご紹介します。

発表3 - Kafka Connect : Iceberg Sink Connectorを使ってみる

※詳細が決まり次第更新予定　

発表者 - やっさん

マイクロアドのインフラエンジニアとして、データ基盤やコンテナに関するシステムを担当しています。
新しいデータ基盤として、Kubernetesを活用したSpark/Trinoを中心としたデータ基盤を構築しています。そこではIcebergを活用しており、今回はKafkaからデータレイクへのSinkの際にこれまではFlumeを使っていましたが、Icebergを活かしたKafka ConnectのIceberg Sink Connectorの可能性について紹介します。

会場

• WeWork 東京スクエアガーデン
• 東京都中央区京橋3-1-1 東京スクエアガーデン 14F

※イベント当日の発表内容は録画され後日公開する予定です。

アンチハラスメントポリシー

本勉強会では、特定の社会的属性――ジェンダー・性自認・性的指向、障がい、外見・身体的特徴、エスニシティ・国籍、年齢、宗教、特定のツールやプログラミング言語、専門とする学問領域、教育的バックグラウンドなど――に基づく差別的言動を、一切許容しません。 加えて、参加者による以下のような行為を、SNS、イベント会場等問わず禁止します。

• 攻撃的な発言
• 脅迫行為
• ストーキング行為
• つきまとい
• 不適切な接触
• 性的な画像の掲示などを含む不適切な情報の開示
• その他、事務局が不適切と判断した行為

Overview

Open Table Format Study Group Tokyo (OTFSG Tokyo) is a study group focused on sharing knowledge and insights about data formats for data lakes, including Hudi, Iceberg, Delta, and more. The topics that can be presented at this study group are not limited to just these data formats; they also encompass related technologies such as Parquet, Arrow, lower-level data formats, data integration, and data governance within the data lake ecosystem. The primary goal of this study group is to promote collaboration and exchange among technical experts and researchers involved in open table format-related technologies. It provides a platform for sharing insights and knowledge that can benefit everyone's future practical work.

Anti-Harassment Policy

In this study group, we do not tolerate any discriminatory behavior based on specific social attributes, including but not limited to gender, gender identity, sexual orientation, disability, physical appearance, ethnicity, nationality, age, religion, specific tools or programming languages, academic expertise, educational background, and more. Additionally, we prohibit the following behaviors by participants, regardless of the platform (SNS, event venue, etc.):

• Offensive language
• Threats or intimidation
• Stalking
• Harassment
• Inappropriate physical contact
• Disclosure of inappropriate information, including sexually explicit images
• Any other behavior deemed inappropriate by the organizers

We are committed to creating a safe and respectful environment for all participants. If you experience or witness any form of harassment or inappropriate behavior, please report it to the organizers, and appropriate action will be taken promptly. Your well-being and comfort are our priorities.