「Avro」に関連する技術ブログ(2件)

企業やコミュニティが発信する技術ブログから「Avro」に関連するものを表示しています。

DynamoDBからS3へApache Hudiを使って同期してみた

KAKEHASHI でバックエンドエンジニアをしている横田です。 今回は、OLTP から OLAP へのデータ同期処理で、気になった技術を使ってみました。 背景・目的 DynamoDB のデータを S3 に日次で同期する必要がありました プロダクトで作っているデータをどうやって データレイク(S3) に持って来るのか?は難しい問題です データ量がそこまで多くない場合は、 DynamoDB Export を使って、

#AWS #Apache #MySQL #Avro #Python #Apache Spark #データベース #OSS 

データウェアハウスとして使う Amazon Redshift について

はじめに こんにちは。開発本部の阪本です。 今回は私が社内勉強会(TechLunch)にて Amazon Redshift(以下 Redshift)についてお話した内容を紹介させていただきます。 Redshift とは 概要 Redshift とは AWS サービスが提供しているデータウェアハウスで、高可用/高パフォーマンス/柔軟なスケーラビリティを実現しているのが特徴です。 競合としては BigQuery や Hadoop 、また同じ AWS サービ

#Google BigQuery #AWS #Hadoop #MySQL #Redash #PostgreSQL #SQL #Tableau #Avro #データベース