BigData-JAWS 勉強会#13

勉強会の概要

本勉強会は、AWS上でビッグデータ処理をしている（しようとしている）人が、ノウハウ共有・情報交換できる場を目指しています。

セミナではないため、発表者からの一方向の技術紹介やユースケース紹介ではありません。参加者の相互の情報共有を前提としています。

想定する参加者は以下のとおりです

• AWSでビッグデータ処理をしている or しようとしている方
• 話を聞くだけではなく、議論に参加できる方

(前回の様子)

議論多めでやっていきたいとおもいます！

日程

2018/06/27（水)　

• 開場 18:00
• 勉強会 18:30〜20:30　
• 懇親会 20:30〜22:00

場所

アマゾン ウェブ サービス ジャパン　目黒オフィス 東京都目黒区下目黒1-8-1 アルコタワー 19F

タイムテーブル

1. オープニング・支部の説明 (10分）

株式会社リクルートテクノロジーズ 北沢 匠

2. 既存Redshift/ETLからSpectrum/Glueへの移行を徹底解明！（30分）

株式会社リクルートライフスタイル 秋本大樹さん

概要： 弊社ではRedshiftの負荷増大に伴いRedshiftSpectrumの導入を行っております。また既存のETL処理の置き換えも実施しており、Glue/Lambda/Batchなど種々のAWSサービスを使用しています。本発表では、弊社の分析基盤の構成とその移行案、さらに移行に関して直面した課題などをより技術的な視点からご紹介いたします。

3. 思ったより大変だったDMSによるデータレプリケーションの話（20分）

株式会社 オープンストリーム 奥田博康さん

概要：とあるデジタルマーケティング会社のAWSインフラを担当しています。その中で、オンプレ環境下のオラクルからAuroraへの継続的データレプリケーションをDMSで行ったのですが…。

休憩(10分)

4. HBase on EC2（20分）

株式会社サイバーエージェント 佐藤栄一さん

概要：弊社ではHBaseを多く活用しており、AWS上で稼働するある広告配信システムでも各種の配信制御のためのバックエンドDBとして、EC2上でHBaseを運用しています。その構成やトラブル事例について紹介いたします。

5.グラフデータベースNeptune使ってみた（Janusgraphとの比較）（20分）

株式会社リクルートテクノロジーズ 佐伯 嘉康さん

概要：Neptuneと、既に本番利用しているJanusgraphを、機能・性能面で比較してみました。

6.次回発表のテーマ募集・クロージング（10分）

7.懇親会

AWSさんの会場にて懇親会を行います。会費2000円

ビッグデータについて語りましょう！

資料

資料はGithubに公開します。今までの開催分の資料もあります。

https://github.com/bdjaws/workshop

ビッグデータ支部の紹介

AWS上でビッグデータ処理を行っている(行おうとしている）ユーザを中心としたグループです。

技術やユースケースの共有や、日々の悩みを相談をすることを目的としています。

以下のテーマを想定しています。

• 分散集計(RedShift、EMR、Athena等)
• 機械学習(EMR、Amazon Michine Learning等)
• ETL(Glue等)
• 分散キュー(kinesis)＋ショートバッチ
• 分散KVS(DynamoDB)
• データフロー制御・スケジューリング(SWF,DataPipeline等)
• データマイグレーション(ネットワーク周り、スノーボール等）
• BI (QuickSight)

主催・協力

• 主催：株式会社リクルートテクノロジーズ
• 協力：株式会社NTTドコモ
• 会場提供：アマゾン ウェブ サービス ジャパン株式会社