BigData-JAWS 勉強会#2

勉強会の概要

本勉強会は、AWS上でビッグデータ処理をしている（しようとしている）人が、ノウハウ共有・情報交換できる場を目指しています。

セミナではないため、発表者からの一方向の技術紹介やユースケース紹介ではありません。参加者の相互の情報共有を前提としています。

想定する参加者は以下のとおりです

• AWSでビッグデータ処理をしている or しようとしている方
• 話を聞くだけではなく、議論に参加できる方

(第一回の様子)

今回のテーマ

今回は、クラスメソッドの川崎さんからEmbulk/DigdagとRedshiftの組み合わせた話を、クックパッドの星さんからビッグデータ基盤の権限管理やオペレーションの話をしていただきます。

日程

9/26（月)　18:30〜20:10　

開場は18:00です

場所

アマゾン ウェブ サービス ジャパン　目黒オフィス 東京都目黒区下目黒1-8-1 アルコタワー 19F

タイムテーブル

1.支部の説明・各自自己紹介 (10分）

株式会社リクルートテクノロジーズ ビッグデータ部 渡部徹太郎

2.EmbulkとDigdagで作るRedshiftデータマート(仮)（40分）

クラスメソッド株式会社 データインテグレーション部 川崎照夫

概要： TreasureDataさんが開発されているバルクデータローダのEmbulkとワークフローエンジンのDigdag。この２つを組み合わせて、Redshift上にデータマートを作成してみます。

3.データ活用のための権限管理（40分）

クックパッド株式会社 インフラストラクチャー部 星北斗

概要: せっかく蓄積したデータもアクセスできなければ意味がありません。利用者が安心してデータを使うためにも、データベースのアクセス権限管理は非常に重要です。実際の環境で使われている権限管理やオペレーションについて紹介します。

4.次回発表の相談、LT募集、クロージング（10分）

5.近場で懇親会

北海道　目黒西口店　（予定） http://www.hotpepper.jp/strJ000023229/map/

ビッグデータについて語りましょう！

ビッグデータ支部の紹介

AWS上でビッグデータ処理を行っている(行おうとしている）ユーザを中心としたグループです。

技術やユースケースの共有や、日々の悩みを相談をすることを目的としています。

以下のテーマを想定しています。

• 分散集計(RedShiftやEMR等)
• 機械学習(EMRやAmazon Michine Learning等)
• 分散キュー(kinesis)＋ショートバッチ
• 分散KVS(DynamoDB)
• データフロー制御・スケジューリング(SWF,DataPipeline等)
• データマイグレーション(ネットワーク周り、スノーボール等）
• BI

ハッシュタグ

ハッシュタグ #bdjaws

資料

資料はGithubに公開します。

https://github.com/bdjaws/workshop

主催・協力

• 主催：株式会社リクルートテクノロジーズ
• 協力：株式会社NTTドコモ
• 会場提供：アマゾン ウェブ サービス ジャパン株式会社