特別編 Twitterの可視化 Glue とQuickSight の外部データソース拡張

2022/11/20 Updated
当日の資料です。

https://www.cdata.com/jp/blog/20221119-aws-handson-guidance
https://www.cdata.com/jp/blog/gsheets-glue-cloud-s3
https://www.cdata.com/jp/blog/twitter-cloud-quicksight

データ分析用のサーバーレスETL サービスであるAWS Glue とデータ分析・ビジュアライズのAmazon QuickSight では、AWS 内の多様なデータを利用することが可能です。
しかし、ユーザー企業は多くのSaaS を使用しています（アメリカでは1企業で平均100を超えるSaaS を利用しています）。そのようなSaaS データをAmazon Glue やQuicksight の機能を拡張して使えるようにする方法を解説します。
CData Connect Cloud というクラウドサービスデータへのデータ接続サービスを使って、Glue、QuickSight からシームレスに外部SaaS データに接続を実践します。

ハンズオンでは、皆様がアカウントをお持ちのTwitter とGoogle スプレッドシートのデータを題材に、Glue およびQuickSight からAPI コーディングなしで接続からビジュアライズをお試しいただきます。

ハンズオン内容：

AWS Glue 編（DWH へのデータパイプライン）
・Amazon Glue Studio の外部データ接続機能、マーケットプレイスコネクタの説明
・外部クラウドサービスのデータ標準化を行うCData Connect Cloud の概要説明
・Amazon Glue Studio のマーケットプレイスからCData Connect Cloud コネクタを選択
・Connect Cloud のトライアルアカウントの取得。
・Connect Cloud で参加者個々人のTwitter に接続（OAuth でブラウザ認証）。Connect Cloud UI から特定キーワードを含むTweet を検索するクエリを作成（クエリ作成はConnect Cloud でやっても、Glue 側でやってもOK）。
・Connect Cloud でGoogle スプレッドシートに接続（OAuth でブラウザ認証）。データはCSV をこちらで準備して、事前にG スプレッドシートを作成してもらう
・Glue Studio で上記Twitter データやG スプレッドシートデータを収集して、S3 にCSV 格納するジョブを作成
・S3 に格納されたTwitter やG スプレッドシートのデータを確認して終了

Amazon QuickSight 編（SQL Server への仮想化によるリアルタイムデータ取得）
・Babelfish はPostgreSQL の仮想化。CData connect はSQL（TDS）での仮想化。今回はConnect Cloud のSQL Server への仮想化をQuickSight から実践
・上記のTwitter とGoogle スプレッドシートのConnect cloud のConnection をそのまま使用
・QuickSight でSQL Server 接続を使ってConnect Cloud 経由でTwitter とG スプレッドシートに接続　
・QuickSight を使って、Twitter のダッシュボードを作成して完了
・その場でTweet して、ダッシュボードをリフレッシュしてリアルタイムデータ取得を体感

参加者が用意するもの：
・AWS のアカウントで、自分でロール設定が可能なもの
・Google Workplace のアカウント（スプレッドシートを利用）。無償のGmail アカウントで可
・Twitter アカウント　
・ハンズオンはすべてクラウド上で完結するので、ブラウザを利用できるマシン（Win/Mac 問わず）

講師：CData Software Japan Marketing の對馬陽子

講師：アマゾン ウェブ サービス ジャパン、シニアエバンジェリスト 亀田

必要なもの AWS アカウント 最大数百円程度のAWS利用料金

注意点 登壇者による発表内容はアマゾン ウェブ サービス ジャパンとして主催しているものではなく、コミュニティ活動の一環として勉強会の主催を行っているものです。