ビッグデータをApache Arrowで爆速にしよう

Apache Arrowは大量データを高速に扱うための列指向なデータフォーマットです。様々なソフトウェアがビッグデータを取り扱うためにApache Arrow形式をサポートしており、汎用的なデータフォーマットとして広く活用されています。

今回の爆速DB「PG-Strom」勉強会では、このApache Arrowについてあらためてしっかりと理解するため、Apache Arrowについての第一人者である株式会社クリアコードの須藤 功平氏をお招きして解説していただきます。

また、Apache ArrowをPostgreSQLのデータとして活用できる「PG-Strom」を使ったビッグデータ分析のポイントについて解説します。

Apache Arrow
https://arrow.apache.org/

PG-Strom
https://www.heterodb.com/

爆速DB
https://virtualtech.jp/bakusokudb/

YouTube Live配信を予定

今回は会場からYouTube Live配信を予定しています。

ただし、回線の状況次第で配信が難しくなる場合がありますので、あらかじめご了承ください。

配信アドレスは参加申し込みの上、参加者への情報をご覧ください。

過去の動画もYouTubeでチェック

過去の本勉強会の動画はYouTubeチャンネルで公開されています。

是非ご覧ください。

https://www.youtube.com/@bakusokuDB

発表内容

『Apache Arrowフォーマットはなぜ速いのか』（40分）

講師：須藤 功平（株式会社クリアコード）

ビッグデータをどう扱えばよいか。これまでは各プロダクト毎に効率的な扱い方を実装していましたが、これからはそんな時代ではありません！ビッグデータの扱いでも、共通で必要なものはプロダクトを超えて協力して開発して共有する、そんな時代です！ビッグデータのための共通基盤、それがオープンソースのApache Arrowです。

このセッションではApache Arrow開発チームの主要メンバーがApache Arrowフォーマットがなぜ速いのかを説明します。

『PG-StromのApache Arrow対応とデータベース運用の勘所』（40分）

講師：海外 浩平（ヘテロDB株式会社）

列指向の構造化データ形式であるApache Arrowは爆速だけども、PythonやRなどのスクリプト言語でコードを書かなければいけない？否、そうではありません。
GPUを用いてPostgreSQLのクエリを高速化するPG-StromはApache Arrowにも対応しており、SQLを書くだけで、透過的に列指向データと高速I/O、そしてGPUによる並列処理の恩恵を得られるようになります。

本セッションでは、時々刻々DBに蓄積されていくトランザクショナルデータを、Apache Arrowを用いて整理分類、分析、検索するためのポイントをご紹介します。

QAセッション（なんでも答えますよ）

質疑応答（20分）

交流会

終了後、有志での交流会も予定しています。

会場近くの適当な居酒屋等でワイワイガヤガヤと行う予定です。 会費は割り勘で大体3000円〜4000円ぐらいです（過去実績）

開催概要

日時

2024年12月16日(月) 19時～21時（18時45分開場）

会場

渋谷区文化総合センター 大和田 学習室7
〒150-0031 東京都渋谷区桜丘町23-21
渋谷駅より徒歩7分

https://shibu-cul.jp/access

対象

・データベースエンジニア
・インフラエンジニア
・ビッグデータに関わる方
・IoT/M2Mなどのシステムに関わる方

当日のタイムスケジュール（予定）

connpassアカウントのメールアドレスを更新してください

connpassアカウントのメールアドレスが最新のアドレスになっているかどうかご確認ください。 古いメールアドレスなどでご登録されていますと、参加用URLのお知らせがお届けできません。