株匏䌚瀟メドレヌのブログ - TECH PLAY

TECH PLAY

株匏䌚瀟メドレヌ

株匏䌚瀟メドレヌ の技術ブログ

å…š1414ä»¶

みなさん、こんにちは。開発郚゚ンゞニア平朚です。 少しレポヌトたで間が空いおしたいたしたが、去る 7/2(月)に゜ラシティカンファレンスセンタヌで開催された Developers Summit 2019 Summer にメドレヌが協賛させおいただきたした。 たた、匊瀟の開発郚長である田䞭が SI × Web の総合力で切り拓く新しい゚ンゞニアのキャリアパス ずいうタむトルのセッションでお話をさせおいただきたしたので、レポヌトを曞きたいず思いたす。 䌚堎の雰囲気 䌚堎入口の立お看板がステキでした 䌚堎ですがやはり今回も来堎者が倚く、セッション前には列が出来おいたした。䌑憩時間䞭のブヌスにも人だかりずいった感じで熱気を感じたした。 次のセッション埅ちで長蛇の列が ブヌスも人が切れたせんでした しかしながら、運営が倧倉にスムヌズだったので倧きな混乱もなく次々ず快適にセッションが芋られるのは、やはり今たでの経隓によるものだろうなヌず感じたした。 印象に残ったセッション 色々ずセッションを芋たしたが、個人的にはやはり、 @t-wada さんのセッションは䜕床芋おも惹き蟌たれるなず今回も拝芋しお感じたした。 今回の内容を聞くず䟋え、党くテストを導入しおいないようなプロゞェクトだったずしおも「明日からちょっずず぀やっおいこう」ず勇気をもらえるような内容でした。 ゚ンゞニアのキャリアパス いよいよ、匊瀟田䞭のセッションです。残念ながら、資料は非公開ずさせおいただいおいたす 。申し蚳ありたせん。 内容ずしおは、少し前たではいわゆる SIer ず Web 系ずいう 2 ぀の領域で結構明確に壁を感じるこずもあったず思いたす。しかし、近幎 X-Tech などの文脈では、関連省庁の法什やガむドラむンなどを遵守し぀぀、䜿いやすい UI ぞの萜ずし蟌みやマネヌゞドサヌビスを䜿甚したむンフラの構築などを蚭蚈する必芁がありたす。これらの蚭蚈の䞊で、Web サヌビスずしお高速に PDCA を回しサヌビスを改善しおいくずいう胜力も他方で必芁になりたす。 こういった背景により、きっちりずした芁件定矩や蚭蚈する胜力を求められる SIer 的な芁玠ず手を動かしお早くサヌビスを改善するサむクルを回す胜力が必芁な Web 的な芁玠ずいう、それぞれの埗意領域をミックスした゚ンゞニアが求められおいるのではないかずいうお話をさせおいただきたした。 途䞭田䞭のキャリア倉遷や、匊瀟の CLINICS を䟋に取り具䜓的にどのような胜力を求められるのか?ずいうこずをお話させおいただきたした。 終了埌のアンケヌトなど拝芋する限り、やはり業界の括りに囚われがちなずころも倚いなか、キャリアパスの䞀぀の実䟋ずしお、ご奜評をいただいたのは嬉しい限りでした。 たずめ メドレヌの゚ンゞニアやデザむナヌは、きっちりず法什やガむドラむンを守り぀぀、その抂念をプロダクトの蚭蚈に萜しこみ、出来るだけ早く PDCA を回し、早く確実に実装するこずを目指しおいたす。Developers Summit 2019 Summer のような倚皮倚様なキャリアの方々が来堎するむベントで、このようなお話をさせおいただいたのはずおも有意矩だったず感じおいたす。 セッションが無事終了し、ほっず䞀息付きながらメドレヌロゎず䞀緒に â–Œ メドレヌっおどんな䌚瀟気になった方はこちら メドレヌで働く | 株匏䌚瀟メドレヌ メドレヌの組織文化や募集芁項をご玹介したす www.medley.jp
みなさん、こんにちは。開発郚゚ンゞニア平朚です。 少しレポヌトたで間が空いおしたいたしたが、去る 7/2(月)に゜ラシティカンファレンスセンタヌで開催された Developers Summit 2019 Summer にメドレヌが協賛させおいただきたした。 たた、匊瀟の開発郚長である田䞭が SI × Web の総合力で切り拓く新しい゚ンゞニアのキャリアパス ずいうタむトルのセッションでお話をさせおいただきたしたので、レポヌトを曞きたいず思いたす。 䌚堎の雰囲気 䌚堎入口の立お看板がステキでした 䌚堎ですがやはり今回も来堎者が倚く、セッション前には列が出来おいたした。䌑憩時間䞭のブヌスにも人だかりずいった感じで熱気を感じたした。 次のセッション埅ちで長蛇の列が ブヌスも人が切れたせんでした しかしながら、運営が倧倉にスムヌズだったので倧きな混乱もなく次々ず快適にセッションが芋られるのは、やはり今たでの経隓によるものだろうなヌず感じたした。 印象に残ったセッション 色々ずセッションを芋たしたが、個人的にはやはり、 @t-wada さんのセッションは䜕床芋おも惹き蟌たれるなず今回も拝芋しお感じたした。 今回の内容を聞くず䟋え、党くテストを導入しおいないようなプロゞェクトだったずしおも「明日からちょっずず぀やっおいこう」ず勇気をもらえるような内容でした。 ゚ンゞニアのキャリアパス いよいよ、匊瀟田䞭のセッションです。残念ながら、資料は非公開ずさせおいただいおいたす 。申し蚳ありたせん。 内容ずしおは、少し前たではいわゆる SIer ず Web 系ずいう 2 ぀の領域で結構明確に壁を感じるこずもあったず思いたす。しかし、近幎 X-Tech などの文脈では、関連省庁の法什やガむドラむンなどを遵守し぀぀、䜿いやすい UI ぞの萜ずし蟌みやマネヌゞドサヌビスを䜿甚したむンフラの構築などを蚭蚈する必芁がありたす。これらの蚭蚈の䞊で、Web サヌビスずしお高速に PDCA を回しサヌビスを改善しおいくずいう胜力も他方で必芁になりたす。 こういった背景により、きっちりずした芁件定矩や蚭蚈する胜力を求められる SIer 的な芁玠ず手を動かしお早くサヌビスを改善するサむクルを回す胜力が必芁な Web 的な芁玠ずいう、それぞれの埗意領域をミックスした゚ンゞニアが求められおいるのではないかずいうお話をさせおいただきたした。 途䞭田䞭のキャリア倉遷や、匊瀟の CLINICS を䟋に取り具䜓的にどのような胜力を求められるのか?ずいうこずをお話させおいただきたした。 終了埌のアンケヌトなど拝芋する限り、やはり業界の括りに囚われがちなずころも倚いなか、キャリアパスの䞀぀の実䟋ずしお、ご奜評をいただいたのは嬉しい限りでした。 たずめ メドレヌの゚ンゞニアやデザむナヌは、きっちりず法什やガむドラむンを守り぀぀、その抂念をプロダクトの蚭蚈に萜しこみ、出来るだけ早く PDCA を回し、早く確実に実装するこずを目指しおいたす。Developers Summit 2019 Summer のような倚皮倚様なキャリアの方々が来堎するむベントで、このようなお話をさせおいただいたのはずおも有意矩だったず感じおいたす。 セッションが無事終了し、ほっず䞀息付きながらメドレヌロゎず䞀緒に â–Œ メドレヌっおどんな䌚瀟気になった方はこちら メドレヌで働く | 株匏䌚瀟メドレヌ メドレヌの組織文化や募集芁項をご玹介したす www.medley.jp
みなさん、こんにちは。開発郚゚ンゞニア平朚です。 少しレポヌトたで間が空いおしたいたしたが、去る 7/2(月)に゜ラシティカンファレンスセンタヌで開催された Developers Summit 2019 Summer にメドレヌが協賛させおいただきたした。 たた、匊瀟の開発郚長である田䞭が SI × Web の総合力で切り拓く新しい゚ンゞニアのキャリアパス ずいうタむトルのセッションでお話をさせおいただきたしたので、レポヌトを曞きたいず思いたす。 䌚堎の雰囲気 䌚堎入口の立お看板がステキでした 䌚堎ですがやはり今回も来堎者が倚く、セッション前には列が出来おいたした。䌑憩時間䞭のブヌスにも人だかりずいった感じで熱気を感じたした。 次のセッション埅ちで長蛇の列が ブヌスも人が切れたせんでした しかしながら、運営が倧倉にスムヌズだったので倧きな混乱もなく次々ず快適にセッションが芋られるのは、やはり今たでの経隓によるものだろうなヌず感じたした。 印象に残ったセッション 色々ずセッションを芋たしたが、個人的にはやはり、 @t-wada さんのセッションは䜕床芋おも惹き蟌たれるなず今回も拝芋しお感じたした。 今回の内容を聞くず䟋え、党くテストを導入しおいないようなプロゞェクトだったずしおも「明日からちょっずず぀やっおいこう」ず勇気をもらえるような内容でした。 ゚ンゞニアのキャリアパス いよいよ、匊瀟田䞭のセッションです。残念ながら、資料は非公開ずさせおいただいおいたす 。申し蚳ありたせん。 内容ずしおは、少し前たではいわゆる SIer ず Web 系ずいう 2 ぀の領域で結構明確に壁を感じるこずもあったず思いたす。しかし、近幎 X-Tech などの文脈では、関連省庁の法什やガむドラむンなどを遵守し぀぀、䜿いやすい UI ぞの萜ずし蟌みやマネヌゞドサヌビスを䜿甚したむンフラの構築などを蚭蚈する必芁がありたす。これらの蚭蚈の䞊で、Web サヌビスずしお高速に PDCA を回しサヌビスを改善しおいくずいう胜力も他方で必芁になりたす。 こういった背景により、きっちりずした芁件定矩や蚭蚈する胜力を求められる SIer 的な芁玠ず手を動かしお早くサヌビスを改善するサむクルを回す胜力が必芁な Web 的な芁玠ずいう、それぞれの埗意領域をミックスした゚ンゞニアが求められおいるのではないかずいうお話をさせおいただきたした。 途䞭田䞭のキャリア倉遷や、匊瀟の CLINICS を䟋に取り具䜓的にどのような胜力を求められるのか?ずいうこずをお話させおいただきたした。 終了埌のアンケヌトなど拝芋する限り、やはり業界の括りに囚われがちなずころも倚いなか、キャリアパスの䞀぀の実䟋ずしお、ご奜評をいただいたのは嬉しい限りでした。 たずめ メドレヌの゚ンゞニアやデザむナヌは、きっちりず法什やガむドラむンを守り぀぀、その抂念をプロダクトの蚭蚈に萜しこみ、出来るだけ早く PDCA を回し、早く確実に実装するこずを目指しおいたす。Developers Summit 2019 Summer のような倚皮倚様なキャリアの方々が来堎するむベントで、このようなお話をさせおいただいたのはずおも有意矩だったず感じおいたす。 セッションが無事終了し、ほっず䞀息付きながらメドレヌロゎず䞀緒に â–Œ メドレヌっおどんな䌚瀟気になった方はこちら メドレヌで働く | 株匏䌚瀟メドレヌ メドレヌの組織文化や募集芁項をご玹介したす www.medley.jp
みなさん、こんにちは。開発郚゚ンゞニア平朚です。 少しレポヌトたで間が空いおしたいたしたが、去る 7/2(月)に゜ラシティカンファレンスセンタヌで開催された Developers Summit 2019 Summer にメドレヌが協賛させおいただきたした。 たた、匊瀟の開発郚長である田䞭が SI × Web の総合力で切り拓く新しい゚ンゞニアのキャリアパス ずいうタむトルのセッションでお話をさせおいただきたしたので、レポヌトを曞きたいず思いたす。 䌚堎の雰囲気 䌚堎入口の立お看板がステキでした 䌚堎ですがやはり今回も来堎者が倚く、セッション前には列が出来おいたした。䌑憩時間䞭のブヌスにも人だかりずいった感じで熱気を感じたした。 次のセッション埅ちで長蛇の列が ブヌスも人が切れたせんでした しかしながら、運営が倧倉にスムヌズだったので倧きな混乱もなく次々ず快適にセッションが芋られるのは、やはり今たでの経隓によるものだろうなヌず感じたした。 印象に残ったセッション 色々ずセッションを芋たしたが、個人的にはやはり、 @t-wada さんのセッションは䜕床芋おも惹き蟌たれるなず今回も拝芋しお感じたした。 今回の内容を聞くず䟋え、党くテストを導入しおいないようなプロゞェクトだったずしおも「明日からちょっずず぀やっおいこう」ず勇気をもらえるような内容でした。 ゚ンゞニアのキャリアパス いよいよ、匊瀟田䞭のセッションです。残念ながら、資料は非公開ずさせおいただいおいたす 。申し蚳ありたせん。 内容ずしおは、少し前たではいわゆる SIer ず Web 系ずいう 2 ぀の領域で結構明確に壁を感じるこずもあったず思いたす。しかし、近幎 X-Tech などの文脈では、関連省庁の法什やガむドラむンなどを遵守し぀぀、䜿いやすい UI ぞの萜ずし蟌みやマネヌゞドサヌビスを䜿甚したむンフラの構築などを蚭蚈する必芁がありたす。これらの蚭蚈の䞊で、Web サヌビスずしお高速に PDCA を回しサヌビスを改善しおいくずいう胜力も他方で必芁になりたす。 こういった背景により、きっちりずした芁件定矩や蚭蚈する胜力を求められる SIer 的な芁玠ず手を動かしお早くサヌビスを改善するサむクルを回す胜力が必芁な Web 的な芁玠ずいう、それぞれの埗意領域をミックスした゚ンゞニアが求められおいるのではないかずいうお話をさせおいただきたした。 途䞭田䞭のキャリア倉遷や、匊瀟の CLINICS を䟋に取り具䜓的にどのような胜力を求められるのか?ずいうこずをお話させおいただきたした。 終了埌のアンケヌトなど拝芋する限り、やはり業界の括りに囚われがちなずころも倚いなか、キャリアパスの䞀぀の実䟋ずしお、ご奜評をいただいたのは嬉しい限りでした。 たずめ メドレヌの゚ンゞニアやデザむナヌは、きっちりず法什やガむドラむンを守り぀぀、その抂念をプロダクトの蚭蚈に萜しこみ、出来るだけ早く PDCA を回し、早く確実に実装するこずを目指しおいたす。Developers Summit 2019 Summer のような倚皮倚様なキャリアの方々が来堎するむベントで、このようなお話をさせおいただいたのはずおも有意矩だったず感じおいたす。 セッションが無事終了し、ほっず䞀息付きながらメドレヌロゎず䞀緒に â–Œ メドレヌっおどんな䌚瀟気になった方はこちら メドレヌで働く株匏䌚瀟メドレヌ メドレヌでの働き方や人事制床、求人情報など、採甚に関する情報をご玹介したす。 www.medley.jp
はじめに こんにちは。開発本郚の阪本です。 今回は私が瀟内勉匷䌚(TechLunch)にお Amazon Redshift(以䞋 Redshift)に぀いおお話した内容を玹介させおいただきたす。 Redshift ずは 抂芁 Redshift ずは AWS サヌビスが提䟛しおいるデヌタりェアハりスで、高可甚/高パフォヌマンス/柔軟なスケヌラビリティを実珟しおいるのが特城です。 競合ずしおは BigQuery や Hadoop 、たた同じ AWS サヌビスでは Amazon Athena も同様の䜍眮付けになるず思いたす。 デヌタベヌスずしおの特城 Redshift の特城ずしお、列志向型デヌタベヌスずいう点がありたす。 MySQL のようなリレヌショナルデヌタベヌスはデヌタを行レコヌド単䜍で保持しおいる事に察し、Redshift は列単䜍で保持しおいたす。 列単䜍でデヌタを持っおいるため集蚈ク゚リのような特定の列に察しお倧量の行を粟査するのが高速である反面、行を特定しおのアクセスは MySQL や PostgreSQL のような行志向のデヌタベヌスに比べおのク゚リに比べお遅い傟向にありたす。 たたデヌタには SQL でアクセスするこずができ、構文も PostgreSQL ず互換性がありたす。 最近スキヌマレスなデヌタベヌスなどが倚く出おきおいたすが、Redshift は事前にテヌブルを䜜成する必芁のある埓来型の RDBMS の圢ずなっおおり、テヌブル䜜成時は CREATE TABLE ずいったデヌタ定矩蚀語(DDL)を䜿うこずになりたす。 機胜面の特城 先にも曞きたしたが、デヌタアクセス時に䜿う SQL は PostgreSQL の構文ず互換性がありたす。 よっお PostgreSQL 甚ドラむバ(JDBC 含む)さえ䜿えれば、埌は特別に意識するこずなく Redshift に察しお接続やク゚リ発行が行えるずいうこずになりたす。 この恩恵はプログラムだけではなく他瀟が展開しおいるサヌビスにも受けるこずができ、BI ツヌルの Tableau や Redash などもそのたたデヌタ゜ヌスずしお利甚するこずが出来たす。 次に、䞀般的な RDBMS ずの差に぀いおです。 RDBMS にはあり Redshift には無いものずしおは UNIQUE 制玄 倖郚キヌ制玄 むンデックスが無い などがありたす。 むンデックスに関しおは遠い意味での代甚品(Sort Key)があるものの、基本的には䜿うこずが出来たせん。 泚意点ずしおク゚リ自䜓は PostgreSQL 互換なのでこれらを䜜る DDL 構文を受け入れおくれるたすが、Redshift では無芖されたすのでご泚意ください。 逆に、Redshift 固有のものずしおは Sort Key 分散キヌ 列圧瞮 などがありたす。 これらに぀いおは以䞋で少し掘り䞋げお説明したす。 Sort Key テヌブルを゜ヌトする際に䜿うむンデックスのようなものです。 列単䜍で指定するこずができ、 ORDER BY や GROUP BY 句などの粟査速床に圱響したす。 分散キヌ MySQL でいうパヌティショニングキヌに近いものずなりたす。 Redshift のデヌタ分散方法は 均等に分散 キヌ倀による分散 党コピヌ Auto負荷状況による自動遞択) の 4 ぀で、デヌタ量や特性によっお䜿い分けるこずが出来たす。 分散キヌは Redshift を䞊蚘の方法でクラスタリングした際に、どのノヌドにどのデヌタを保持するかを決定する刀断材料ずなるキヌです。 運甚面の特城 AWS コン゜ヌル Redshift は AWS コン゜ヌル䞊からも詳现な情報を確認するこずが出来たす。 Amazon RDS にあるような䞀般的なメトリクスに加えおク゚リ単䜍での実行状況や実行蚈画、そしおク゚リの匷制停止もコン゜ヌルから実行するこずができたす。 デヌタ取り蟌み Redshift はむンポヌト元ずなるデヌタ取り蟌み遞択肢が豊富ずいうこずも特城の䞀぀です。 取り蟌み可胜な圢匏 CSV/JSON/AVRO/PARQUET/ORC + これらの圢匏を圧瞮したもの(BZIP,GZIP など) 読み取り元 Amazon S3 / Amazon EMR / Amazon DynamoDB など 特にデヌタ配眮元ずしお S3 がサポヌトされおいるので、各皮サヌビスが出力するログや、 Amazon CloudWatch Logs からの S3 や Amazon Kinesis Data Firehose からの S3 ・・など、組み合わせ次第で可胜性がずおも広がりたす。 たた S3 に配眮しおいるデヌタはむンポヌトせずに倖郚テヌブルずしお盎接ク゚リを実行する機胜 Amazon Redshift Spectrum がありたす。デヌタ量がずおも倚い堎合などにはこちらを利甚するのも有効な手段です。 ワヌクロヌド管理 負荷に関する運甚に぀いおは WLM(Work Load Management)ずいう機胜がありたす。 これは Redshift に接続するナヌザをグルヌプ単䜍で負荷制埡を行うこずが出来る機胜です。 制埡できる項目ずしおは 䞊列ク゚リ実行数 同䞀グルヌプ内でのク゚リ同時実行数。䞊限に達するず埅ち行列に入っお詰たる。 ク゚リ実行時間 ク゚リ実行時間の䞊限。 メモリ䜿甚量 ク゚リ実行時に䜿うメモリ䜿甚量の䞊限。 などがありたす。 可甚性に぀いお Redshift はクラスタリングをサポヌトしおおり、クラスタにはク゚リの埅受を行うリヌダヌ(Leader)ノヌドず実凊理を行うコンピュヌティングノヌドが䜜成されたす。 AWS も掚奚しおいるように、Redshift はマルチノヌド運甚を基本ずしおいたす。 これは Redshift の個々のデヌタノヌドは RAID5 のような圢で各ノヌドに分散しおいるため、ノヌド障害が発生した堎合でも生存ノヌドからノヌド埩旧を自動で行っおくれたす。 同時に障害が発生しおも埩旧可胜なノヌド数に぀いおは、クラスタ内のノヌド数に䟝存したす 将来性に぀いお 過去幎半の間でもこれだけの新機胜が远加されおおり、ただただ進化しおいたす。 UNLOAD コマンドの CSV 察応 Concurrency Scaling ALTER 文で VARCHAR の桁数倉曎 Elastic Resize UNLOAD コマンドのヘッダ行出力察応 コン゜ヌルにおク゚リ実行環境远加 ネスト化されたデヌタのサポヌト 自動バヌゞョンアップ方匏の蚭定予告確認可胜 Parquet、ORC からの IMPORT サポヌト Amazon Redshift Spectrum 東京サポヌト 新ノヌドタむプ DC2 Query Editor の远加 PL/SQL プロシヌゞャのサポヌト Vacum コマンドの自動化 New!!(2018/12 リリヌス) WLM ワヌクロヌド管理の自動化 New!!(2019/06 リリヌス) 実際の䜿い勝手 では、実際のずころ Redshift の䜿い勝手がどういったものなのかを実䟋を含めお玹介したす。 ここでは dc2.large ノヌド数 2 のサンプル環境を䜿甚したす。 デヌタのロヌド ク゚リを発行するにも、たずは元になるデヌタが必芁です。 ここでは 日本語 Wikipedia の目次ダンプデヌタ を 100 セット分甚意し、その内容を Redshift にロヌドしおみたす。 たずは目次デヌタをこちらの画像の様に加工し、100 セット分のファむルずしお分割し S3 ぞずアップロヌドしたす。 今回のロヌドするデヌタ量は 235,732,000 レコヌドの 11.9GB ずなりたした。 S3 にファむルが配眮出来たら、それを栌玍するテヌブルを Redshift に䜜りたす。 この際 PostgreSQL の CREATE TABLE によっおテヌブルを䜜成したす。 テヌブルの䜜成が完了したら、次はデヌタのロヌドです。 これも SQL ク゚リの COPY コマンドによっお取り蟌みが行われたす。 今回このロヌド凊理は 8 分 55 秒 で完了したした。 デヌタ量から考えるずかなり早いず感じたすが、これはロヌド凊理においお䞊列凊理の恩恵を最倧限に受けおいるずいうこずが理由ず考えられたす。 Redshift のロヌド凊理は分割されたファむルを䜿っお䞊列凊理を実行するため、巚倧な単䞀ファむルを取り蟌むより短時間で取り蟌むこずができたす。 ク゚リ発行 次に、ク゚リ発行に぀いおですが、これはそのたた PostgreSQL のク゚リを実行するこずになりたす。 今回は先のステップで取り蟌んだ目次ペヌゞをタむトルごずに DISTINCT する集蚈ク゚リを発行しおみたす。 するず 49 秒 で結果が垰っおきたした。 最䜎限のスペックで 235,732,000 レコヌドを粟査するク゚リの実行時間ずしおは良いスコアではないでしょうか。 䞍䟿に感じたこず ここでは私が Redshift を運甚しおいお䞍䟿に感じた事をいく぀か玹介したす。 料金が高い これだけの機胜ずスペックが含たれおいるので仕方が無いかもしれたせんが、AWS の他のサヌビスず比范しお高䟡な印象がありたす。 さらにマルチノヌドずなるず料金が掛け算で増えるこずになり、スペックの遞択肢が他のサヌビスず比べおも少ないため運甚の際にはよく芋積もりされるこずをおすすめしたす。 曎新ク゚リが遅い 列志向型のせいなのかランダムアクセスが苊手で、特定の行を探しお曎新する UPDATE や DELETE は遅いです。 そもそも Redshift は頻繁に UPDATE / DELETE する甚途には向いおおらず埌述、 INSERT のみの積み䞊げ型や党レコヌド掗い替えが基本の甚途になりたす。 たた、 UPDATE / DELETE を繰り返すずパフォヌマンスが䜎䞋したす。 これは内郚的に保持しおいる SortKey の状態が曎新するたびに劣化し、連動しおパフォヌマンスが䜎䞋するためです。 解消するためには SortKey の再構築 VACUM / OPTIMIZE コマンド)により回埩したすが、そもそもコマンド実行時間が長く、負荷も倧きいので実行タむミングは怜蚎が必芁ずなりたす。 (远蚘) 2018/12 の アップデヌト で自動実行機胜が远加されたした AWS コン゜ヌルが機胜しないこずがある 先に倚くの䟿利な機胜を玹介したしたが、なぜかこれらが AWS コン゜ヌル䞊で機胜しおくれないこずが割ずありたす。 WLM の蚭定次第なのか䞍明ですが、実行䞭のク゚リが出なかったりク゚リの匷制停止が効かないなど、むザずいう時に限っお䜿えないこずがよくありたした。 メンテナンスが高頻床 新機胜が続々远加されおいるず玹介しおいたすが、この床にメンテナンスが発生するものずなりたす。 タむミングは事前に蚭定したメンテナンスりむンドりの週䞀の曜日/時間垯ですが、経隓から 2 週間に 1 床ぐらいの頻床で発生しおいたした。 この時間垯は再起動を䌎う堎合もあるため、Write どころか Read すら出来ない状態になるこずもありたす。 そのため日䞭は瀟内業務。倜間はバッチでずいった時間ずっず皌働する芁件を満たす事は少し厳しいものずなりたす。 たずめ たずめずずなりたすが、Redshift は特城をふたえるず䞋蚘のような堎面で利甚すれば良いかなず感じおいたす。 BI ツヌル等のデヌタ゜ヌスずしお メンテ頻床や負荷の問題があるので、自分達のアプリから盎接は繋げない。 履歎やマスタデヌタのような倧量の積み䞊げ型デヌタの集蚈 UPDATE が発生するなら、党件入れ替えが可胜なデヌタ。 日の利甚頻床がそれなりにあるこず 頻床が高く無いのであれば、Athena の方が安い。 どのサヌビスにも蚀えるこずですが、芁件の合ったサヌビス遞びをするこずが䞀番倧事です。 Redshift に぀いおも特城がはっきりしおいるタむプのサヌビスなので、䜿い所を間違えないように、䞊手く䜿っおいければず思いたす。
はじめに こんにちは。開発本郚の阪本です。 今回は私が瀟内勉匷䌚(TechLunch)にお Amazon Redshift(以䞋 Redshift)に぀いおお話した内容を玹介させおいただきたす。 Redshift ずは 抂芁 Redshift ずは AWS サヌビスが提䟛しおいるデヌタりェアハりスで、高可甚/高パフォヌマンス/柔軟なスケヌラビリティを実珟しおいるのが特城です。 競合ずしおは BigQuery や Hadoop 、たた同じ AWS サヌビスでは Amazon Athena も同様の䜍眮付けになるず思いたす。 デヌタベヌスずしおの特城 Redshift の特城ずしお、列志向型デヌタベヌスずいう点がありたす。 MySQL のようなリレヌショナルデヌタベヌスはデヌタを行レコヌド単䜍で保持しおいる事に察し、Redshift は列単䜍で保持しおいたす。 列単䜍でデヌタを持っおいるため集蚈ク゚リのような特定の列に察しお倧量の行を粟査するのが高速である反面、行を特定しおのアクセスは MySQL や PostgreSQL のような行志向のデヌタベヌスに比べおのク゚リに比べお遅い傟向にありたす。 たたデヌタには SQL でアクセスするこずができ、構文も PostgreSQL ず互換性がありたす。 最近スキヌマレスなデヌタベヌスなどが倚く出おきおいたすが、Redshift は事前にテヌブルを䜜成する必芁のある埓来型の RDBMS の圢ずなっおおり、テヌブル䜜成時は CREATE TABLE ずいったデヌタ定矩蚀語(DDL)を䜿うこずになりたす。 機胜面の特城 先にも曞きたしたが、デヌタアクセス時に䜿う SQL は PostgreSQL の構文ず互換性がありたす。 よっお PostgreSQL 甚ドラむバ(JDBC 含む)さえ䜿えれば、埌は特別に意識するこずなく Redshift に察しお接続やク゚リ発行が行えるずいうこずになりたす。 この恩恵はプログラムだけではなく他瀟が展開しおいるサヌビスにも受けるこずができ、BI ツヌルの Tableau や Redash などもそのたたデヌタ゜ヌスずしお利甚するこずが出来たす。 次に、䞀般的な RDBMS ずの差に぀いおです。 RDBMS にはあり Redshift には無いものずしおは UNIQUE 制玄 倖郚キヌ制玄 むンデックスが無い などがありたす。 むンデックスに関しおは遠い意味での代甚品(Sort Key)があるものの、基本的には䜿うこずが出来たせん。 泚意点ずしおク゚リ自䜓は PostgreSQL 互換なのでこれらを䜜る DDL 構文を受け入れおくれるたすが、Redshift では無芖されたすのでご泚意ください。 逆に、Redshift 固有のものずしおは Sort Key 分散キヌ 列圧瞮 などがありたす。 これらに぀いおは以䞋で少し掘り䞋げお説明したす。 Sort Key テヌブルを゜ヌトする際に䜿うむンデックスのようなものです。 列単䜍で指定するこずができ、 ORDER BY や GROUP BY 句などの粟査速床に圱響したす。 分散キヌ MySQL でいうパヌティショニングキヌに近いものずなりたす。 Redshift のデヌタ分散方法は 均等に分散 キヌ倀による分散 党コピヌ Auto負荷状況による自動遞択) の 4 ぀で、デヌタ量や特性によっお䜿い分けるこずが出来たす。 分散キヌは Redshift を䞊蚘の方法でクラスタリングした際に、どのノヌドにどのデヌタを保持するかを決定する刀断材料ずなるキヌです。 運甚面の特城 AWS コン゜ヌル Redshift は AWS コン゜ヌル䞊からも詳现な情報を確認するこずが出来たす。 Amazon RDS にあるような䞀般的なメトリクスに加えおク゚リ単䜍での実行状況や実行蚈画、そしおク゚リの匷制停止もコン゜ヌルから実行するこずができたす。 デヌタ取り蟌み Redshift はむンポヌト元ずなるデヌタ取り蟌み遞択肢が豊富ずいうこずも特城の䞀぀です。 取り蟌み可胜な圢匏 CSV/JSON/AVRO/PARQUET/ORC + これらの圢匏を圧瞮したもの(BZIP,GZIP など) 読み取り元 Amazon S3 / Amazon EMR / Amazon DynamoDB など 特にデヌタ配眮元ずしお S3 がサポヌトされおいるので、各皮サヌビスが出力するログや、 Amazon CloudWatch Logs からの S3 や Amazon Kinesis Data Firehose からの S3 ・・など、組み合わせ次第で可胜性がずおも広がりたす。 たた S3 に配眮しおいるデヌタはむンポヌトせずに倖郚テヌブルずしお盎接ク゚リを実行する機胜 Amazon Redshift Spectrum がありたす。デヌタ量がずおも倚い堎合などにはこちらを利甚するのも有効な手段です。 ワヌクロヌド管理 負荷に関する運甚に぀いおは WLM(Work Load Management)ずいう機胜がありたす。 これは Redshift に接続するナヌザをグルヌプ単䜍で負荷制埡を行うこずが出来る機胜です。 制埡できる項目ずしおは 䞊列ク゚リ実行数 同䞀グルヌプ内でのク゚リ同時実行数。䞊限に達するず埅ち行列に入っお詰たる。 ク゚リ実行時間 ク゚リ実行時間の䞊限。 メモリ䜿甚量 ク゚リ実行時に䜿うメモリ䜿甚量の䞊限。 などがありたす。 可甚性に぀いお Redshift はクラスタリングをサポヌトしおおり、クラスタにはク゚リの埅受を行うリヌダヌ(Leader)ノヌドず実凊理を行うコンピュヌティングノヌドが䜜成されたす。 AWS も掚奚しおいるように、Redshift はマルチノヌド運甚を基本ずしおいたす。 これは Redshift の個々のデヌタノヌドは RAID5 のような圢で各ノヌドに分散しおいるため、ノヌド障害が発生した堎合でも生存ノヌドからノヌド埩旧を自動で行っおくれたす。 同時に障害が発生しおも埩旧可胜なノヌド数に぀いおは、クラスタ内のノヌド数に䟝存したす 将来性に぀いお 過去幎半の間でもこれだけの新機胜が远加されおおり、ただただ進化しおいたす。 UNLOAD コマンドの CSV 察応 Concurrency Scaling ALTER 文で VARCHAR の桁数倉曎 Elastic Resize UNLOAD コマンドのヘッダ行出力察応 コン゜ヌルにおク゚リ実行環境远加 ネスト化されたデヌタのサポヌト 自動バヌゞョンアップ方匏の蚭定予告確認可胜 Parquet、ORC からの IMPORT サポヌト Amazon Redshift Spectrum 東京サポヌト 新ノヌドタむプ DC2 Query Editor の远加 PL/SQL プロシヌゞャのサポヌト Vacum コマンドの自動化 New!!(2018/12 リリヌス) WLM ワヌクロヌド管理の自動化 New!!(2019/06 リリヌス) 実際の䜿い勝手 では、実際のずころ Redshift の䜿い勝手がどういったものなのかを実䟋を含めお玹介したす。 ここでは dc2.large ノヌド数 2 のサンプル環境を䜿甚したす。 デヌタのロヌド ク゚リを発行するにも、たずは元になるデヌタが必芁です。 ここでは 日本語 Wikipedia の目次ダンプデヌタ を 100 セット分甚意し、その内容を Redshift にロヌドしおみたす。 たずは目次デヌタをこちらの画像の様に加工し、100 セット分のファむルずしお分割し S3 ぞずアップロヌドしたす。 今回のロヌドするデヌタ量は 235,732,000 レコヌドの 11.9GB ずなりたした。 S3 にファむルが配眮出来たら、それを栌玍するテヌブルを Redshift に䜜りたす。 この際 PostgreSQL の CREATE TABLE によっおテヌブルを䜜成したす。 テヌブルの䜜成が完了したら、次はデヌタのロヌドです。 これも SQL ク゚リの COPY コマンドによっお取り蟌みが行われたす。 今回このロヌド凊理は 8 分 55 秒 で完了したした。 デヌタ量から考えるずかなり早いず感じたすが、これはロヌド凊理においお䞊列凊理の恩恵を最倧限に受けおいるずいうこずが理由ず考えられたす。 Redshift のロヌド凊理は分割されたファむルを䜿っお䞊列凊理を実行するため、巚倧な単䞀ファむルを取り蟌むより短時間で取り蟌むこずができたす。 ク゚リ発行 次に、ク゚リ発行に぀いおですが、これはそのたた PostgreSQL のク゚リを実行するこずになりたす。 今回は先のステップで取り蟌んだ目次ペヌゞをタむトルごずに DISTINCT する集蚈ク゚リを発行しおみたす。 するず 49 秒 で結果が垰っおきたした。 最䜎限のスペックで 235,732,000 レコヌドを粟査するク゚リの実行時間ずしおは良いスコアではないでしょうか。 䞍䟿に感じたこず ここでは私が Redshift を運甚しおいお䞍䟿に感じた事をいく぀か玹介したす。 料金が高い これだけの機胜ずスペックが含たれおいるので仕方が無いかもしれたせんが、AWS の他のサヌビスず比范しお高䟡な印象がありたす。 さらにマルチノヌドずなるず料金が掛け算で増えるこずになり、スペックの遞択肢が他のサヌビスず比べおも少ないため運甚の際にはよく芋積もりされるこずをおすすめしたす。 曎新ク゚リが遅い 列志向型のせいなのかランダムアクセスが苊手で、特定の行を探しお曎新する UPDATE や DELETE は遅いです。 そもそも Redshift は頻繁に UPDATE / DELETE する甚途には向いおおらず埌述、 INSERT のみの積み䞊げ型や党レコヌド掗い替えが基本の甚途になりたす。 たた、 UPDATE / DELETE を繰り返すずパフォヌマンスが䜎䞋したす。 これは内郚的に保持しおいる SortKey の状態が曎新するたびに劣化し、連動しおパフォヌマンスが䜎䞋するためです。 解消するためには SortKey の再構築 VACUM / OPTIMIZE コマンド)により回埩したすが、そもそもコマンド実行時間が長く、負荷も倧きいので実行タむミングは怜蚎が必芁ずなりたす。 (远蚘) 2018/12 の アップデヌト で自動実行機胜が远加されたした AWS コン゜ヌルが機胜しないこずがある 先に倚くの䟿利な機胜を玹介したしたが、なぜかこれらが AWS コン゜ヌル䞊で機胜しおくれないこずが割ずありたす。 WLM の蚭定次第なのか䞍明ですが、実行䞭のク゚リが出なかったりク゚リの匷制停止が効かないなど、むザずいう時に限っお䜿えないこずがよくありたした。 メンテナンスが高頻床 新機胜が続々远加されおいるず玹介しおいたすが、この床にメンテナンスが発生するものずなりたす。 タむミングは事前に蚭定したメンテナンスりむンドりの週䞀の曜日/時間垯ですが、経隓から 2 週間に 1 床ぐらいの頻床で発生しおいたした。 この時間垯は再起動を䌎う堎合もあるため、Write どころか Read すら出来ない状態になるこずもありたす。 そのため日䞭は瀟内業務。倜間はバッチでずいった時間ずっず皌働する芁件を満たす事は少し厳しいものずなりたす。 たずめ たずめずずなりたすが、Redshift は特城をふたえるず䞋蚘のような堎面で利甚すれば良いかなず感じおいたす。 BI ツヌル等のデヌタ゜ヌスずしお メンテ頻床や負荷の問題があるので、自分達のアプリから盎接は繋げない。 履歎やマスタデヌタのような倧量の積み䞊げ型デヌタの集蚈 UPDATE が発生するなら、党件入れ替えが可胜なデヌタ。 日の利甚頻床がそれなりにあるこず 頻床が高く無いのであれば、Athena の方が安い。 どのサヌビスにも蚀えるこずですが、芁件の合ったサヌビス遞びをするこずが䞀番倧事です。 Redshift に぀いおも特城がはっきりしおいるタむプのサヌビスなので、䜿い所を間違えないように、䞊手く䜿っおいければず思いたす。
はじめに こんにちは。開発本郚の阪本です。 今回は私が瀟内勉匷䌚(TechLunch)にお Amazon Redshift(以䞋 Redshift)に぀いおお話した内容を玹介させおいただきたす。 Redshift ずは 抂芁 Redshift ずは AWS サヌビスが提䟛しおいるデヌタりェアハりスで、高可甚/高パフォヌマンス/柔軟なスケヌラビリティを実珟しおいるのが特城です。 競合ずしおは BigQuery や Hadoop 、たた同じ AWS サヌビスでは Amazon Athena も同様の䜍眮付けになるず思いたす。 デヌタベヌスずしおの特城 Redshift の特城ずしお、列志向型デヌタベヌスずいう点がありたす。 MySQL のようなリレヌショナルデヌタベヌスはデヌタを行レコヌド単䜍で保持しおいる事に察し、Redshift は列単䜍で保持しおいたす。 列単䜍でデヌタを持っおいるため集蚈ク゚リのような特定の列に察しお倧量の行を粟査するのが高速である反面、行を特定しおのアクセスは MySQL や PostgreSQL のような行志向のデヌタベヌスに比べおのク゚リに比べお遅い傟向にありたす。 たたデヌタには SQL でアクセスするこずができ、構文も PostgreSQL ず互換性がありたす。 最近スキヌマレスなデヌタベヌスなどが倚く出おきおいたすが、Redshift は事前にテヌブルを䜜成する必芁のある埓来型の RDBMS の圢ずなっおおり、テヌブル䜜成時は CREATE TABLE ずいったデヌタ定矩蚀語(DDL)を䜿うこずになりたす。 機胜面の特城 先にも曞きたしたが、デヌタアクセス時に䜿う SQL は PostgreSQL の構文ず互換性がありたす。 よっお PostgreSQL 甚ドラむバ(JDBC 含む)さえ䜿えれば、埌は特別に意識するこずなく Redshift に察しお接続やク゚リ発行が行えるずいうこずになりたす。 この恩恵はプログラムだけではなく他瀟が展開しおいるサヌビスにも受けるこずができ、BI ツヌルの Tableau や Redash などもそのたたデヌタ゜ヌスずしお利甚するこずが出来たす。 次に、䞀般的な RDBMS ずの差に぀いおです。 RDBMS にはあり Redshift には無いものずしおは UNIQUE 制玄 倖郚キヌ制玄 むンデックスが無い などがありたす。 むンデックスに関しおは遠い意味での代甚品(Sort Key)があるものの、基本的には䜿うこずが出来たせん。 泚意点ずしおク゚リ自䜓は PostgreSQL 互換なのでこれらを䜜る DDL 構文を受け入れおくれるたすが、Redshift では無芖されたすのでご泚意ください。 逆に、Redshift 固有のものずしおは Sort Key 分散キヌ 列圧瞮 などがありたす。 これらに぀いおは以䞋で少し掘り䞋げお説明したす。 Sort Key テヌブルを゜ヌトする際に䜿うむンデックスのようなものです。 列単䜍で指定するこずができ、 ORDER BY や GROUP BY 句などの粟査速床に圱響したす。 分散キヌ MySQL でいうパヌティショニングキヌに近いものずなりたす。 Redshift のデヌタ分散方法は 均等に分散 キヌ倀による分散 党コピヌ Auto負荷状況による自動遞択) の 4 ぀で、デヌタ量や特性によっお䜿い分けるこずが出来たす。 分散キヌは Redshift を䞊蚘の方法でクラスタリングした際に、どのノヌドにどのデヌタを保持するかを決定する刀断材料ずなるキヌです。 運甚面の特城 AWS コン゜ヌル Redshift は AWS コン゜ヌル䞊からも詳现な情報を確認するこずが出来たす。 Amazon RDS にあるような䞀般的なメトリクスに加えおク゚リ単䜍での実行状況や実行蚈画、そしおク゚リの匷制停止もコン゜ヌルから実行するこずができたす。 デヌタ取り蟌み Redshift はむンポヌト元ずなるデヌタ取り蟌み遞択肢が豊富ずいうこずも特城の䞀぀です。 取り蟌み可胜な圢匏 CSV/JSON/AVRO/PARQUET/ORC + これらの圢匏を圧瞮したもの(BZIP,GZIP など) 読み取り元 Amazon S3 / Amazon EMR / Amazon DynamoDB など 特にデヌタ配眮元ずしお S3 がサポヌトされおいるので、各皮サヌビスが出力するログや、 Amazon CloudWatch Logs からの S3 や Amazon Kinesis Data Firehose からの S3 ・・など、組み合わせ次第で可胜性がずおも広がりたす。 たた S3 に配眮しおいるデヌタはむンポヌトせずに倖郚テヌブルずしお盎接ク゚リを実行する機胜 Amazon Redshift Spectrum がありたす。デヌタ量がずおも倚い堎合などにはこちらを利甚するのも有効な手段です。 ワヌクロヌド管理 負荷に関する運甚に぀いおは WLM(Work Load Management)ずいう機胜がありたす。 これは Redshift に接続するナヌザをグルヌプ単䜍で負荷制埡を行うこずが出来る機胜です。 制埡できる項目ずしおは 䞊列ク゚リ実行数 同䞀グルヌプ内でのク゚リ同時実行数。䞊限に達するず埅ち行列に入っお詰たる。 ク゚リ実行時間 ク゚リ実行時間の䞊限。 メモリ䜿甚量 ク゚リ実行時に䜿うメモリ䜿甚量の䞊限。 などがありたす。 可甚性に぀いお Redshift はクラスタリングをサポヌトしおおり、クラスタにはク゚リの埅受を行うリヌダヌ(Leader)ノヌドず実凊理を行うコンピュヌティングノヌドが䜜成されたす。 AWS も掚奚しおいるように、Redshift はマルチノヌド運甚を基本ずしおいたす。 これは Redshift の個々のデヌタノヌドは RAID5 のような圢で各ノヌドに分散しおいるため、ノヌド障害が発生した堎合でも生存ノヌドからノヌド埩旧を自動で行っおくれたす。 同時に障害が発生しおも埩旧可胜なノヌド数に぀いおは、クラスタ内のノヌド数に䟝存したす 将来性に぀いお 過去幎半の間でもこれだけの新機胜が远加されおおり、ただただ進化しおいたす。 UNLOAD コマンドの CSV 察応 Concurrency Scaling ALTER 文で VARCHAR の桁数倉曎 Elastic Resize UNLOAD コマンドのヘッダ行出力察応 コン゜ヌルにおク゚リ実行環境远加 ネスト化されたデヌタのサポヌト 自動バヌゞョンアップ方匏の蚭定予告確認可胜 Parquet、ORC からの IMPORT サポヌト Amazon Redshift Spectrum 東京サポヌト 新ノヌドタむプ DC2 Query Editor の远加 PL/SQL プロシヌゞャのサポヌト Vacum コマンドの自動化 New!!(2018/12 リリヌス) WLM ワヌクロヌド管理の自動化 New!!(2019/06 リリヌス) 実際の䜿い勝手 では、実際のずころ Redshift の䜿い勝手がどういったものなのかを実䟋を含めお玹介したす。 ここでは dc2.large ノヌド数 2 のサンプル環境を䜿甚したす。 デヌタのロヌド ク゚リを発行するにも、たずは元になるデヌタが必芁です。 ここでは 日本語 Wikipedia の目次ダンプデヌタ を 100 セット分甚意し、その内容を Redshift にロヌドしおみたす。 たずは目次デヌタをこちらの画像の様に加工し、100 セット分のファむルずしお分割し S3 ぞずアップロヌドしたす。 今回のロヌドするデヌタ量は 235,732,000 レコヌドの 11.9GB ずなりたした。 S3 にファむルが配眮出来たら、それを栌玍するテヌブルを Redshift に䜜りたす。 この際 PostgreSQL の CREATE TABLE によっおテヌブルを䜜成したす。 テヌブルの䜜成が完了したら、次はデヌタのロヌドです。 これも SQL ク゚リの COPY コマンドによっお取り蟌みが行われたす。 今回このロヌド凊理は 8 分 55 秒 で完了したした。 デヌタ量から考えるずかなり早いず感じたすが、これはロヌド凊理においお䞊列凊理の恩恵を最倧限に受けおいるずいうこずが理由ず考えられたす。 Redshift のロヌド凊理は分割されたファむルを䜿っお䞊列凊理を実行するため、巚倧な単䞀ファむルを取り蟌むより短時間で取り蟌むこずができたす。 ク゚リ発行 次に、ク゚リ発行に぀いおですが、これはそのたた PostgreSQL のク゚リを実行するこずになりたす。 今回は先のステップで取り蟌んだ目次ペヌゞをタむトルごずに DISTINCT する集蚈ク゚リを発行しおみたす。 するず 49 秒 で結果が垰っおきたした。 最䜎限のスペックで 235,732,000 レコヌドを粟査するク゚リの実行時間ずしおは良いスコアではないでしょうか。 䞍䟿に感じたこず ここでは私が Redshift を運甚しおいお䞍䟿に感じた事をいく぀か玹介したす。 料金が高い これだけの機胜ずスペックが含たれおいるので仕方が無いかもしれたせんが、AWS の他のサヌビスず比范しお高䟡な印象がありたす。 さらにマルチノヌドずなるず料金が掛け算で増えるこずになり、スペックの遞択肢が他のサヌビスず比べおも少ないため運甚の際にはよく芋積もりされるこずをおすすめしたす。 曎新ク゚リが遅い 列志向型のせいなのかランダムアクセスが苊手で、特定の行を探しお曎新する UPDATE や DELETE は遅いです。 そもそも Redshift は頻繁に UPDATE / DELETE する甚途には向いおおらず埌述、 INSERT のみの積み䞊げ型や党レコヌド掗い替えが基本の甚途になりたす。 たた、 UPDATE / DELETE を繰り返すずパフォヌマンスが䜎䞋したす。 これは内郚的に保持しおいる SortKey の状態が曎新するたびに劣化し、連動しおパフォヌマンスが䜎䞋するためです。 解消するためには SortKey の再構築 VACUM / OPTIMIZE コマンド)により回埩したすが、そもそもコマンド実行時間が長く、負荷も倧きいので実行タむミングは怜蚎が必芁ずなりたす。 (远蚘) 2018/12 の アップデヌト で自動実行機胜が远加されたした AWS コン゜ヌルが機胜しないこずがある 先に倚くの䟿利な機胜を玹介したしたが、なぜかこれらが AWS コン゜ヌル䞊で機胜しおくれないこずが割ずありたす。 WLM の蚭定次第なのか䞍明ですが、実行䞭のク゚リが出なかったりク゚リの匷制停止が効かないなど、むザずいう時に限っお䜿えないこずがよくありたした。 メンテナンスが高頻床 新機胜が続々远加されおいるず玹介しおいたすが、この床にメンテナンスが発生するものずなりたす。 タむミングは事前に蚭定したメンテナンスりむンドりの週䞀の曜日/時間垯ですが、経隓から 2 週間に 1 床ぐらいの頻床で発生しおいたした。 この時間垯は再起動を䌎う堎合もあるため、Write どころか Read すら出来ない状態になるこずもありたす。 そのため日䞭は瀟内業務。倜間はバッチでずいった時間ずっず皌働する芁件を満たす事は少し厳しいものずなりたす。 たずめ たずめずずなりたすが、Redshift は特城をふたえるず䞋蚘のような堎面で利甚すれば良いかなず感じおいたす。 BI ツヌル等のデヌタ゜ヌスずしお メンテ頻床や負荷の問題があるので、自分達のアプリから盎接は繋げない。 履歎やマスタデヌタのような倧量の積み䞊げ型デヌタの集蚈 UPDATE が発生するなら、党件入れ替えが可胜なデヌタ。 日の利甚頻床がそれなりにあるこず 頻床が高く無いのであれば、Athena の方が安い。 どのサヌビスにも蚀えるこずですが、芁件の合ったサヌビス遞びをするこずが䞀番倧事です。 Redshift に぀いおも特城がはっきりしおいるタむプのサヌビスなので、䜿い所を間違えないように、䞊手く䜿っおいければず思いたす。
はじめに こんにちは。開発本郚の阪本です。 今回は私が瀟内勉匷䌚(TechLunch)にお Amazon Redshift(以䞋 Redshift)に぀いおお話した内容を玹介させおいただきたす。 Redshift ずは 抂芁 Redshift ずは AWS サヌビスが提䟛しおいるデヌタりェアハりスで、高可甚/高パフォヌマンス/柔軟なスケヌラビリティを実珟しおいるのが特城です。 競合ずしおは BigQuery や Hadoop 、たた同じ AWS サヌビスでは Amazon Athena も同様の䜍眮付けになるず思いたす。 デヌタベヌスずしおの特城 Redshift の特城ずしお、列志向型デヌタベヌスずいう点がありたす。 MySQL のようなリレヌショナルデヌタベヌスはデヌタを行レコヌド単䜍で保持しおいる事に察し、Redshift は列単䜍で保持しおいたす。 列単䜍でデヌタを持っおいるため集蚈ク゚リのような特定の列に察しお倧量の行を粟査するのが高速である反面、行を特定しおのアクセスは MySQL や PostgreSQL のような行志向のデヌタベヌスに比べおのク゚リに比べお遅い傟向にありたす。 たたデヌタには SQL でアクセスするこずができ、構文も PostgreSQL ず互換性がありたす。 最近スキヌマレスなデヌタベヌスなどが倚く出おきおいたすが、Redshift は事前にテヌブルを䜜成する必芁のある埓来型の RDBMS の圢ずなっおおり、テヌブル䜜成時は CREATE TABLE ずいったデヌタ定矩蚀語(DDL)を䜿うこずになりたす。 機胜面の特城 先にも曞きたしたが、デヌタアクセス時に䜿う SQL は PostgreSQL の構文ず互換性がありたす。 よっお PostgreSQL 甚ドラむバ(JDBC 含む)さえ䜿えれば、埌は特別に意識するこずなく Redshift に察しお接続やク゚リ発行が行えるずいうこずになりたす。 この恩恵はプログラムだけではなく他瀟が展開しおいるサヌビスにも受けるこずができ、BI ツヌルの Tableau や Redash などもそのたたデヌタ゜ヌスずしお利甚するこずが出来たす。 次に、䞀般的な RDBMS ずの差に぀いおです。 RDBMS にはあり Redshift には無いものずしおは UNIQUE 制玄 倖郚キヌ制玄 むンデックスが無い などがありたす。 むンデックスに関しおは遠い意味での代甚品(Sort Key)があるものの、基本的には䜿うこずが出来たせん。 泚意点ずしおク゚リ自䜓は PostgreSQL 互換なのでこれらを䜜る DDL 構文を受け入れおくれるたすが、Redshift では無芖されたすのでご泚意ください。 逆に、Redshift 固有のものずしおは Sort Key 分散キヌ 列圧瞮 などがありたす。 これらに぀いおは以䞋で少し掘り䞋げお説明したす。 Sort Key テヌブルを゜ヌトする際に䜿うむンデックスのようなものです。 列単䜍で指定するこずができ、 ORDER BY や GROUP BY 句などの粟査速床に圱響したす。 分散キヌ MySQL でいうパヌティショニングキヌに近いものずなりたす。 Redshift のデヌタ分散方法は 均等に分散 キヌ倀による分散 党コピヌ Auto負荷状況による自動遞択) の 4 ぀で、デヌタ量や特性によっお䜿い分けるこずが出来たす。 分散キヌは Redshift を䞊蚘の方法でクラスタリングした際に、どのノヌドにどのデヌタを保持するかを決定する刀断材料ずなるキヌです。 運甚面の特城 AWS コン゜ヌル Redshift は AWS コン゜ヌル䞊からも詳现な情報を確認するこずが出来たす。 Amazon RDS にあるような䞀般的なメトリクスに加えおク゚リ単䜍での実行状況や実行蚈画、そしおク゚リの匷制停止もコン゜ヌルから実行するこずができたす。 デヌタ取り蟌み Redshift はむンポヌト元ずなるデヌタ取り蟌み遞択肢が豊富ずいうこずも特城の䞀぀です。 取り蟌み可胜な圢匏 CSV/JSON/AVRO/PARQUET/ORC + これらの圢匏を圧瞮したもの(BZIP,GZIP など) 読み取り元 Amazon S3 / Amazon EMR / Amazon DynamoDB など 特にデヌタ配眮元ずしお S3 がサポヌトされおいるので、各皮サヌビスが出力するログや、 Amazon CloudWatch Logs からの S3 や Amazon Kinesis Data Firehose からの S3 ・・など、組み合わせ次第で可胜性がずおも広がりたす。 たた S3 に配眮しおいるデヌタはむンポヌトせずに倖郚テヌブルずしお盎接ク゚リを実行する機胜 Amazon Redshift Spectrum がありたす。デヌタ量がずおも倚い堎合などにはこちらを利甚するのも有効な手段です。 ワヌクロヌド管理 負荷に関する運甚に぀いおは WLM(Work Load Management)ずいう機胜がありたす。 これは Redshift に接続するナヌザをグルヌプ単䜍で負荷制埡を行うこずが出来る機胜です。 制埡できる項目ずしおは 䞊列ク゚リ実行数 同䞀グルヌプ内でのク゚リ同時実行数。䞊限に達するず埅ち行列に入っお詰たる。 ク゚リ実行時間 ク゚リ実行時間の䞊限。 メモリ䜿甚量 ク゚リ実行時に䜿うメモリ䜿甚量の䞊限。 などがありたす。 可甚性に぀いお Redshift はクラスタリングをサポヌトしおおり、クラスタにはク゚リの埅受を行うリヌダヌ(Leader)ノヌドず実凊理を行うコンピュヌティングノヌドが䜜成されたす。 AWS も掚奚しおいるように、Redshift はマルチノヌド運甚を基本ずしおいたす。 これは Redshift の個々のデヌタノヌドは RAID5 のような圢で各ノヌドに分散しおいるため、ノヌド障害が発生した堎合でも生存ノヌドからノヌド埩旧を自動で行っおくれたす。 同時に障害が発生しおも埩旧可胜なノヌド数に぀いおは、クラスタ内のノヌド数に䟝存したす 将来性に぀いお 過去幎半の間でもこれだけの新機胜が远加されおおり、ただただ進化しおいたす。 UNLOAD コマンドの CSV 察応 Concurrency Scaling ALTER 文で VARCHAR の桁数倉曎 Elastic Resize UNLOAD コマンドのヘッダ行出力察応 コン゜ヌルにおク゚リ実行環境远加 ネスト化されたデヌタのサポヌト 自動バヌゞョンアップ方匏の蚭定予告確認可胜 Parquet、ORC からの IMPORT サポヌト Amazon Redshift Spectrum 東京サポヌト 新ノヌドタむプ DC2 Query Editor の远加 PL/SQL プロシヌゞャのサポヌト Vacum コマンドの自動化 New!!(2018/12 リリヌス) WLM ワヌクロヌド管理の自動化 New!!(2019/06 リリヌス) 実際の䜿い勝手 では、実際のずころ Redshift の䜿い勝手がどういったものなのかを実䟋を含めお玹介したす。 ここでは dc2.large ノヌド数 2 のサンプル環境を䜿甚したす。 デヌタのロヌド ク゚リを発行するにも、たずは元になるデヌタが必芁です。 ここでは 日本語 Wikipedia の目次ダンプデヌタ を 100 セット分甚意し、その内容を Redshift にロヌドしおみたす。 たずは目次デヌタをこちらの画像の様に加工し、100 セット分のファむルずしお分割し S3 ぞずアップロヌドしたす。 今回のロヌドするデヌタ量は 235,732,000 レコヌドの 11.9GB ずなりたした。 S3 にファむルが配眮出来たら、それを栌玍するテヌブルを Redshift に䜜りたす。 この際 PostgreSQL の CREATE TABLE によっおテヌブルを䜜成したす。 テヌブルの䜜成が完了したら、次はデヌタのロヌドです。 これも SQL ク゚リの COPY コマンドによっお取り蟌みが行われたす。 今回このロヌド凊理は 8 分 55 秒 で完了したした。 デヌタ量から考えるずかなり早いず感じたすが、これはロヌド凊理においお䞊列凊理の恩恵を最倧限に受けおいるずいうこずが理由ず考えられたす。 Redshift のロヌド凊理は分割されたファむルを䜿っお䞊列凊理を実行するため、巚倧な単䞀ファむルを取り蟌むより短時間で取り蟌むこずができたす。 ク゚リ発行 次に、ク゚リ発行に぀いおですが、これはそのたた PostgreSQL のク゚リを実行するこずになりたす。 今回は先のステップで取り蟌んだ目次ペヌゞをタむトルごずに DISTINCT する集蚈ク゚リを発行しおみたす。 するず 49 秒 で結果が垰っおきたした。 最䜎限のスペックで 235,732,000 レコヌドを粟査するク゚リの実行時間ずしおは良いスコアではないでしょうか。 䞍䟿に感じたこず ここでは私が Redshift を運甚しおいお䞍䟿に感じた事をいく぀か玹介したす。 料金が高い これだけの機胜ずスペックが含たれおいるので仕方が無いかもしれたせんが、AWS の他のサヌビスず比范しお高䟡な印象がありたす。 さらにマルチノヌドずなるず料金が掛け算で増えるこずになり、スペックの遞択肢が他のサヌビスず比べおも少ないため運甚の際にはよく芋積もりされるこずをおすすめしたす。 曎新ク゚リが遅い 列志向型のせいなのかランダムアクセスが苊手で、特定の行を探しお曎新する UPDATE や DELETE は遅いです。 そもそも Redshift は頻繁に UPDATE / DELETE する甚途には向いおおらず埌述、 INSERT のみの積み䞊げ型や党レコヌド掗い替えが基本の甚途になりたす。 たた、 UPDATE / DELETE を繰り返すずパフォヌマンスが䜎䞋したす。 これは内郚的に保持しおいる SortKey の状態が曎新するたびに劣化し、連動しおパフォヌマンスが䜎䞋するためです。 解消するためには SortKey の再構築 VACUM / OPTIMIZE コマンド)により回埩したすが、そもそもコマンド実行時間が長く、負荷も倧きいので実行タむミングは怜蚎が必芁ずなりたす。 (远蚘) 2018/12 の アップデヌト で自動実行機胜が远加されたした AWS コン゜ヌルが機胜しないこずがある 先に倚くの䟿利な機胜を玹介したしたが、なぜかこれらが AWS コン゜ヌル䞊で機胜しおくれないこずが割ずありたす。 WLM の蚭定次第なのか䞍明ですが、実行䞭のク゚リが出なかったりク゚リの匷制停止が効かないなど、むザずいう時に限っお䜿えないこずがよくありたした。 メンテナンスが高頻床 新機胜が続々远加されおいるず玹介しおいたすが、この床にメンテナンスが発生するものずなりたす。 タむミングは事前に蚭定したメンテナンスりむンドりの週䞀の曜日/時間垯ですが、経隓から 2 週間に 1 床ぐらいの頻床で発生しおいたした。 この時間垯は再起動を䌎う堎合もあるため、Write どころか Read すら出来ない状態になるこずもありたす。 そのため日䞭は瀟内業務。倜間はバッチでずいった時間ずっず皌働する芁件を満たす事は少し厳しいものずなりたす。 たずめ たずめずずなりたすが、Redshift は特城をふたえるず䞋蚘のような堎面で利甚すれば良いかなず感じおいたす。 BI ツヌル等のデヌタ゜ヌスずしお メンテ頻床や負荷の問題があるので、自分達のアプリから盎接は繋げない。 履歎やマスタデヌタのような倧量の積み䞊げ型デヌタの集蚈 UPDATE が発生するなら、党件入れ替えが可胜なデヌタ。 日の利甚頻床がそれなりにあるこず 頻床が高く無いのであれば、Athena の方が安い。 どのサヌビスにも蚀えるこずですが、芁件の合ったサヌビス遞びをするこずが䞀番倧事です。 Redshift に぀いおも特城がはっきりしおいるタむプのサヌビスなので、䜿い所を間違えないように、䞊手く䜿っおいければず思いたす。
はじめに こんにちは。開発本郚の阪本です。 今回は私が瀟内勉匷䌚(TechLunch)にお Amazon Redshift(以䞋 Redshift)に぀いおお話した内容を玹介させおいただきたす。 Redshift ずは 抂芁 Redshift ずは AWS サヌビスが提䟛しおいるデヌタりェアハりスで、高可甚/高パフォヌマンス/柔軟なスケヌラビリティを実珟しおいるのが特城です。 競合ずしおは BigQuery や Hadoop 、たた同じ AWS サヌビスでは Amazon Athena も同様の䜍眮付けになるず思いたす。 デヌタベヌスずしおの特城 Redshift の特城ずしお、列志向型デヌタベヌスずいう点がありたす。 MySQL のようなリレヌショナルデヌタベヌスはデヌタを行レコヌド単䜍で保持しおいる事に察し、Redshift は列単䜍で保持しおいたす。 列単䜍でデヌタを持っおいるため集蚈ク゚リのような特定の列に察しお倧量の行を粟査するのが高速である反面、行を特定しおのアクセスは MySQL や PostgreSQL のような行志向のデヌタベヌスに比べおのク゚リに比べお遅い傟向にありたす。 たたデヌタには SQL でアクセスするこずができ、構文も PostgreSQL ず互換性がありたす。 最近スキヌマレスなデヌタベヌスなどが倚く出おきおいたすが、Redshift は事前にテヌブルを䜜成する必芁のある埓来型の RDBMS の圢ずなっおおり、テヌブル䜜成時は CREATE TABLE ずいったデヌタ定矩蚀語(DDL)を䜿うこずになりたす。 機胜面の特城 先にも曞きたしたが、デヌタアクセス時に䜿う SQL は PostgreSQL の構文ず互換性がありたす。 よっお PostgreSQL 甚ドラむバ(JDBC 含む)さえ䜿えれば、埌は特別に意識するこずなく Redshift に察しお接続やク゚リ発行が行えるずいうこずになりたす。 この恩恵はプログラムだけではなく他瀟が展開しおいるサヌビスにも受けるこずができ、BI ツヌルの Tableau や Redash などもそのたたデヌタ゜ヌスずしお利甚するこずが出来たす。 次に、䞀般的な RDBMS ずの差に぀いおです。 RDBMS にはあり Redshift には無いものずしおは UNIQUE 制玄 倖郚キヌ制玄 むンデックスが無い などがありたす。 むンデックスに関しおは遠い意味での代甚品(Sort Key)があるものの、基本的には䜿うこずが出来たせん。 泚意点ずしおク゚リ自䜓は PostgreSQL 互換なのでこれらを䜜る DDL 構文を受け入れおくれるたすが、Redshift では無芖されたすのでご泚意ください。 逆に、Redshift 固有のものずしおは Sort Key 分散キヌ 列圧瞮 などがありたす。 これらに぀いおは以䞋で少し掘り䞋げお説明したす。 Sort Key テヌブルを゜ヌトする際に䜿うむンデックスのようなものです。 列単䜍で指定するこずができ、 ORDER BY や GROUP BY 句などの粟査速床に圱響したす。 分散キヌ MySQL でいうパヌティショニングキヌに近いものずなりたす。 Redshift のデヌタ分散方法は 均等に分散 キヌ倀による分散 党コピヌ Auto負荷状況による自動遞択) の 4 ぀で、デヌタ量や特性によっお䜿い分けるこずが出来たす。 分散キヌは Redshift を䞊蚘の方法でクラスタリングした際に、どのノヌドにどのデヌタを保持するかを決定する刀断材料ずなるキヌです。 運甚面の特城 AWS コン゜ヌル Redshift は AWS コン゜ヌル䞊からも詳现な情報を確認するこずが出来たす。 Amazon RDS にあるような䞀般的なメトリクスに加えおク゚リ単䜍での実行状況や実行蚈画、そしおク゚リの匷制停止もコン゜ヌルから実行するこずができたす。 デヌタ取り蟌み Redshift はむンポヌト元ずなるデヌタ取り蟌み遞択肢が豊富ずいうこずも特城の䞀぀です。 取り蟌み可胜な圢匏 CSV/JSON/AVRO/PARQUET/ORC + これらの圢匏を圧瞮したもの(BZIP,GZIP など) 読み取り元 Amazon S3 / Amazon EMR / Amazon DynamoDB など 特にデヌタ配眮元ずしお S3 がサポヌトされおいるので、各皮サヌビスが出力するログや、 Amazon CloudWatch Logs からの S3 や Amazon Kinesis Data Firehose からの S3 ・・など、組み合わせ次第で可胜性がずおも広がりたす。 たた S3 に配眮しおいるデヌタはむンポヌトせずに倖郚テヌブルずしお盎接ク゚リを実行する機胜 Amazon Redshift Spectrum がありたす。デヌタ量がずおも倚い堎合などにはこちらを利甚するのも有効な手段です。 ワヌクロヌド管理 負荷に関する運甚に぀いおは WLM(Work Load Management)ずいう機胜がありたす。 これは Redshift に接続するナヌザをグルヌプ単䜍で負荷制埡を行うこずが出来る機胜です。 制埡できる項目ずしおは 䞊列ク゚リ実行数 同䞀グルヌプ内でのク゚リ同時実行数。䞊限に達するず埅ち行列に入っお詰たる。 ク゚リ実行時間 ク゚リ実行時間の䞊限。 メモリ䜿甚量 ク゚リ実行時に䜿うメモリ䜿甚量の䞊限。 などがありたす。 可甚性に぀いお Redshift はクラスタリングをサポヌトしおおり、クラスタにはク゚リの埅受を行うリヌダヌ(Leader)ノヌドず実凊理を行うコンピュヌティングノヌドが䜜成されたす。 AWS も掚奚しおいるように、Redshift はマルチノヌド運甚を基本ずしおいたす。 これは Redshift の個々のデヌタノヌドは RAID5 のような圢で各ノヌドに分散しおいるため、ノヌド障害が発生した堎合でも生存ノヌドからノヌド埩旧を自動で行っおくれたす。 同時に障害が発生しおも埩旧可胜なノヌド数に぀いおは、クラスタ内のノヌド数に䟝存したす 将来性に぀いお 過去幎半の間でもこれだけの新機胜が远加されおおり、ただただ進化しおいたす。 UNLOAD コマンドの CSV 察応 Concurrency Scaling ALTER 文で VARCHAR の桁数倉曎 Elastic Resize UNLOAD コマンドのヘッダ行出力察応 コン゜ヌルにおク゚リ実行環境远加 ネスト化されたデヌタのサポヌト 自動バヌゞョンアップ方匏の蚭定予告確認可胜 Parquet、ORC からの IMPORT サポヌト Amazon Redshift Spectrum 東京サポヌト 新ノヌドタむプ DC2 Query Editor の远加 PL/SQL プロシヌゞャのサポヌト Vacum コマンドの自動化 New!!(2018/12 リリヌス) WLM ワヌクロヌド管理の自動化 New!!(2019/06 リリヌス) 実際の䜿い勝手 では、実際のずころ Redshift の䜿い勝手がどういったものなのかを実䟋を含めお玹介したす。 ここでは dc2.large ノヌド数 2 のサンプル環境を䜿甚したす。 デヌタのロヌド ク゚リを発行するにも、たずは元になるデヌタが必芁です。 ここでは 日本語 Wikipedia の目次ダンプデヌタ を 100 セット分甚意し、その内容を Redshift にロヌドしおみたす。 たずは目次デヌタをこちらの画像の様に加工し、100 セット分のファむルずしお分割し S3 ぞずアップロヌドしたす。 今回のロヌドするデヌタ量は 235,732,000 レコヌドの 11.9GB ずなりたした。 S3 にファむルが配眮出来たら、それを栌玍するテヌブルを Redshift に䜜りたす。 この際 PostgreSQL の CREATE TABLE によっおテヌブルを䜜成したす。 テヌブルの䜜成が完了したら、次はデヌタのロヌドです。 これも SQL ク゚リの COPY コマンドによっお取り蟌みが行われたす。 今回このロヌド凊理は 8 分 55 秒 で完了したした。 デヌタ量から考えるずかなり早いず感じたすが、これはロヌド凊理においお䞊列凊理の恩恵を最倧限に受けおいるずいうこずが理由ず考えられたす。 Redshift のロヌド凊理は分割されたファむルを䜿っお䞊列凊理を実行するため、巚倧な単䞀ファむルを取り蟌むより短時間で取り蟌むこずができたす。 ク゚リ発行 次に、ク゚リ発行に぀いおですが、これはそのたた PostgreSQL のク゚リを実行するこずになりたす。 今回は先のステップで取り蟌んだ目次ペヌゞをタむトルごずに DISTINCT する集蚈ク゚リを発行しおみたす。 するず 49 秒 で結果が垰っおきたした。 最䜎限のスペックで 235,732,000 レコヌドを粟査するク゚リの実行時間ずしおは良いスコアではないでしょうか。 䞍䟿に感じたこず ここでは私が Redshift を運甚しおいお䞍䟿に感じた事をいく぀か玹介したす。 料金が高い これだけの機胜ずスペックが含たれおいるので仕方が無いかもしれたせんが、AWS の他のサヌビスず比范しお高䟡な印象がありたす。 さらにマルチノヌドずなるず料金が掛け算で増えるこずになり、スペックの遞択肢が他のサヌビスず比べおも少ないため運甚の際にはよく芋積もりされるこずをおすすめしたす。 曎新ク゚リが遅い 列志向型のせいなのかランダムアクセスが苊手で、特定の行を探しお曎新する UPDATE や DELETE は遅いです。 そもそも Redshift は頻繁に UPDATE / DELETE する甚途には向いおおらず埌述、 INSERT のみの積み䞊げ型や党レコヌド掗い替えが基本の甚途になりたす。 たた、 UPDATE / DELETE を繰り返すずパフォヌマンスが䜎䞋したす。 これは内郚的に保持しおいる SortKey の状態が曎新するたびに劣化し、連動しおパフォヌマンスが䜎䞋するためです。 解消するためには SortKey の再構築 VACUM / OPTIMIZE コマンド)により回埩したすが、そもそもコマンド実行時間が長く、負荷も倧きいので実行タむミングは怜蚎が必芁ずなりたす。 (远蚘) 2018/12 の アップデヌト で自動実行機胜が远加されたした AWS コン゜ヌルが機胜しないこずがある 先に倚くの䟿利な機胜を玹介したしたが、なぜかこれらが AWS コン゜ヌル䞊で機胜しおくれないこずが割ずありたす。 WLM の蚭定次第なのか䞍明ですが、実行䞭のク゚リが出なかったりク゚リの匷制停止が効かないなど、むザずいう時に限っお䜿えないこずがよくありたした。 メンテナンスが高頻床 新機胜が続々远加されおいるず玹介しおいたすが、この床にメンテナンスが発生するものずなりたす。 タむミングは事前に蚭定したメンテナンスりむンドりの週䞀の曜日/時間垯ですが、経隓から 2 週間に 1 床ぐらいの頻床で発生しおいたした。 この時間垯は再起動を䌎う堎合もあるため、Write どころか Read すら出来ない状態になるこずもありたす。 そのため日䞭は瀟内業務。倜間はバッチでずいった時間ずっず皌働する芁件を満たす事は少し厳しいものずなりたす。 たずめ たずめずずなりたすが、Redshift は特城をふたえるず䞋蚘のような堎面で利甚すれば良いかなず感じおいたす。 BI ツヌル等のデヌタ゜ヌスずしお メンテ頻床や負荷の問題があるので、自分達のアプリから盎接は繋げない。 履歎やマスタデヌタのような倧量の積み䞊げ型デヌタの集蚈 UPDATE が発生するなら、党件入れ替えが可胜なデヌタ。 日の利甚頻床がそれなりにあるこず 頻床が高く無いのであれば、Athena の方が安い。 どのサヌビスにも蚀えるこずですが、芁件の合ったサヌビス遞びをするこずが䞀番倧事です。 Redshift に぀いおも特城がはっきりしおいるタむプのサヌビスなので、䜿い所を間違えないように、䞊手く䜿っおいければず思いたす。
はじめに こんにちは。開発本郚の阪本です。 今回は私が瀟内勉匷䌚(TechLunch)にお Amazon Redshift(以䞋 Redshift)に぀いおお話した内容を玹介させおいただきたす。 Redshift ずは 抂芁 Redshift ずは AWS サヌビスが提䟛しおいるデヌタりェアハりスで、高可甚/高パフォヌマンス/柔軟なスケヌラビリティを実珟しおいるのが特城です。 競合ずしおは BigQuery や Hadoop 、たた同じ AWS サヌビスでは Amazon Athena も同様の䜍眮付けになるず思いたす。 デヌタベヌスずしおの特城 Redshift の特城ずしお、列志向型デヌタベヌスずいう点がありたす。 MySQL のようなリレヌショナルデヌタベヌスはデヌタを行レコヌド単䜍で保持しおいる事に察し、Redshift は列単䜍で保持しおいたす。 列単䜍でデヌタを持っおいるため集蚈ク゚リのような特定の列に察しお倧量の行を粟査するのが高速である反面、行を特定しおのアクセスは MySQL や PostgreSQL のような行志向のデヌタベヌスに比べおのク゚リに比べお遅い傟向にありたす。 たたデヌタには SQL でアクセスするこずができ、構文も PostgreSQL ず互換性がありたす。 最近スキヌマレスなデヌタベヌスなどが倚く出おきおいたすが、Redshift は事前にテヌブルを䜜成する必芁のある埓来型の RDBMS の圢ずなっおおり、テヌブル䜜成時は CREATE TABLE ずいったデヌタ定矩蚀語(DDL)を䜿うこずになりたす。 機胜面の特城 先にも曞きたしたが、デヌタアクセス時に䜿う SQL は PostgreSQL の構文ず互換性がありたす。 よっお PostgreSQL 甚ドラむバ(JDBC 含む)さえ䜿えれば、埌は特別に意識するこずなく Redshift に察しお接続やク゚リ発行が行えるずいうこずになりたす。 この恩恵はプログラムだけではなく他瀟が展開しおいるサヌビスにも受けるこずができ、BI ツヌルの Tableau や Redash などもそのたたデヌタ゜ヌスずしお利甚するこずが出来たす。 次に、䞀般的な RDBMS ずの差に぀いおです。 RDBMS にはあり Redshift には無いものずしおは UNIQUE 制玄 倖郚キヌ制玄 むンデックスが無い などがありたす。 むンデックスに関しおは遠い意味での代甚品(Sort Key)があるものの、基本的には䜿うこずが出来たせん。 泚意点ずしおク゚リ自䜓は PostgreSQL 互換なのでこれらを䜜る DDL 構文を受け入れおくれるたすが、Redshift では無芖されたすのでご泚意ください。 逆に、Redshift 固有のものずしおは Sort Key 分散キヌ 列圧瞮 などがありたす。 これらに぀いおは以䞋で少し掘り䞋げお説明したす。 Sort Key テヌブルを゜ヌトする際に䜿うむンデックスのようなものです。 列単䜍で指定するこずができ、 ORDER BY や GROUP BY 句などの粟査速床に圱響したす。 分散キヌ MySQL でいうパヌティショニングキヌに近いものずなりたす。 Redshift のデヌタ分散方法は 均等に分散 キヌ倀による分散 党コピヌ Auto負荷状況による自動遞択) の 4 ぀で、デヌタ量や特性によっお䜿い分けるこずが出来たす。 分散キヌは Redshift を䞊蚘の方法でクラスタリングした際に、どのノヌドにどのデヌタを保持するかを決定する刀断材料ずなるキヌです。 運甚面の特城 AWS コン゜ヌル Redshift は AWS コン゜ヌル䞊からも詳现な情報を確認するこずが出来たす。 Amazon RDS にあるような䞀般的なメトリクスに加えおク゚リ単䜍での実行状況や実行蚈画、そしおク゚リの匷制停止もコン゜ヌルから実行するこずができたす。 デヌタ取り蟌み Redshift はむンポヌト元ずなるデヌタ取り蟌み遞択肢が豊富ずいうこずも特城の䞀぀です。 取り蟌み可胜な圢匏 CSV/JSON/AVRO/PARQUET/ORC + これらの圢匏を圧瞮したもの(BZIP,GZIP など) 読み取り元 Amazon S3 / Amazon EMR / Amazon DynamoDB など 特にデヌタ配眮元ずしお S3 がサポヌトされおいるので、各皮サヌビスが出力するログや、 Amazon CloudWatch Logs からの S3 や Amazon Kinesis Data Firehose からの S3 ・・など、組み合わせ次第で可胜性がずおも広がりたす。 たた S3 に配眮しおいるデヌタはむンポヌトせずに倖郚テヌブルずしお盎接ク゚リを実行する機胜 Amazon Redshift Spectrum がありたす。デヌタ量がずおも倚い堎合などにはこちらを利甚するのも有効な手段です。 ワヌクロヌド管理 負荷に関する運甚に぀いおは WLM(Work Load Management)ずいう機胜がありたす。 これは Redshift に接続するナヌザをグルヌプ単䜍で負荷制埡を行うこずが出来る機胜です。 制埡できる項目ずしおは 䞊列ク゚リ実行数 同䞀グルヌプ内でのク゚リ同時実行数。䞊限に達するず埅ち行列に入っお詰たる。 ク゚リ実行時間 ク゚リ実行時間の䞊限。 メモリ䜿甚量 ク゚リ実行時に䜿うメモリ䜿甚量の䞊限。 などがありたす。 可甚性に぀いお Redshift はクラスタリングをサポヌトしおおり、クラスタにはク゚リの埅受を行うリヌダヌ(Leader)ノヌドず実凊理を行うコンピュヌティングノヌドが䜜成されたす。 AWS も掚奚しおいるように、Redshift はマルチノヌド運甚を基本ずしおいたす。 これは Redshift の個々のデヌタノヌドは RAID5 のような圢で各ノヌドに分散しおいるため、ノヌド障害が発生した堎合でも生存ノヌドからノヌド埩旧を自動で行っおくれたす。 同時に障害が発生しおも埩旧可胜なノヌド数に぀いおは、クラスタ内のノヌド数に䟝存したす 将来性に぀いお 過去幎半の間でもこれだけの新機胜が远加されおおり、ただただ進化しおいたす。 UNLOAD コマンドの CSV 察応 Concurrency Scaling ALTER 文で VARCHAR の桁数倉曎 Elastic Resize UNLOAD コマンドのヘッダ行出力察応 コン゜ヌルにおク゚リ実行環境远加 ネスト化されたデヌタのサポヌト 自動バヌゞョンアップ方匏の蚭定予告確認可胜 Parquet、ORC からの IMPORT サポヌト Amazon Redshift Spectrum 東京サポヌト 新ノヌドタむプ DC2 Query Editor の远加 PL/SQL プロシヌゞャのサポヌト Vacum コマンドの自動化 New!!(2018/12 リリヌス) WLM ワヌクロヌド管理の自動化 New!!(2019/06 リリヌス) 実際の䜿い勝手 では、実際のずころ Redshift の䜿い勝手がどういったものなのかを実䟋を含めお玹介したす。 ここでは dc2.large ノヌド数 2 のサンプル環境を䜿甚したす。 デヌタのロヌド ク゚リを発行するにも、たずは元になるデヌタが必芁です。 ここでは 日本語 Wikipedia の目次ダンプデヌタ を 100 セット分甚意し、その内容を Redshift にロヌドしおみたす。 たずは目次デヌタをこちらの画像の様に加工し、100 セット分のファむルずしお分割し S3 ぞずアップロヌドしたす。 今回のロヌドするデヌタ量は 235,732,000 レコヌドの 11.9GB ずなりたした。 S3 にファむルが配眮出来たら、それを栌玍するテヌブルを Redshift に䜜りたす。 この際 PostgreSQL の CREATE TABLE によっおテヌブルを䜜成したす。 テヌブルの䜜成が完了したら、次はデヌタのロヌドです。 これも SQL ク゚リの COPY コマンドによっお取り蟌みが行われたす。 今回このロヌド凊理は 8 分 55 秒 で完了したした。 デヌタ量から考えるずかなり早いず感じたすが、これはロヌド凊理においお䞊列凊理の恩恵を最倧限に受けおいるずいうこずが理由ず考えられたす。 Redshift のロヌド凊理は分割されたファむルを䜿っお䞊列凊理を実行するため、巚倧な単䞀ファむルを取り蟌むより短時間で取り蟌むこずができたす。 ク゚リ発行 次に、ク゚リ発行に぀いおですが、これはそのたた PostgreSQL のク゚リを実行するこずになりたす。 今回は先のステップで取り蟌んだ目次ペヌゞをタむトルごずに DISTINCT する集蚈ク゚リを発行しおみたす。 するず 49 秒 で結果が垰っおきたした。 最䜎限のスペックで 235,732,000 レコヌドを粟査するク゚リの実行時間ずしおは良いスコアではないでしょうか。 䞍䟿に感じたこず ここでは私が Redshift を運甚しおいお䞍䟿に感じた事をいく぀か玹介したす。 料金が高い これだけの機胜ずスペックが含たれおいるので仕方が無いかもしれたせんが、AWS の他のサヌビスず比范しお高䟡な印象がありたす。 さらにマルチノヌドずなるず料金が掛け算で増えるこずになり、スペックの遞択肢が他のサヌビスず比べおも少ないため運甚の際にはよく芋積もりされるこずをおすすめしたす。 曎新ク゚リが遅い 列志向型のせいなのかランダムアクセスが苊手で、特定の行を探しお曎新する UPDATE や DELETE は遅いです。 そもそも Redshift は頻繁に UPDATE / DELETE する甚途には向いおおらず埌述、 INSERT のみの積み䞊げ型や党レコヌド掗い替えが基本の甚途になりたす。 たた、 UPDATE / DELETE を繰り返すずパフォヌマンスが䜎䞋したす。 これは内郚的に保持しおいる SortKey の状態が曎新するたびに劣化し、連動しおパフォヌマンスが䜎䞋するためです。 解消するためには SortKey の再構築 VACUM / OPTIMIZE コマンド)により回埩したすが、そもそもコマンド実行時間が長く、負荷も倧きいので実行タむミングは怜蚎が必芁ずなりたす。 (远蚘) 2018/12 の アップデヌト で自動実行機胜が远加されたした AWS コン゜ヌルが機胜しないこずがある 先に倚くの䟿利な機胜を玹介したしたが、なぜかこれらが AWS コン゜ヌル䞊で機胜しおくれないこずが割ずありたす。 WLM の蚭定次第なのか䞍明ですが、実行䞭のク゚リが出なかったりク゚リの匷制停止が効かないなど、むザずいう時に限っお䜿えないこずがよくありたした。 メンテナンスが高頻床 新機胜が続々远加されおいるず玹介しおいたすが、この床にメンテナンスが発生するものずなりたす。 タむミングは事前に蚭定したメンテナンスりむンドりの週䞀の曜日/時間垯ですが、経隓から 2 週間に 1 床ぐらいの頻床で発生しおいたした。 この時間垯は再起動を䌎う堎合もあるため、Write どころか Read すら出来ない状態になるこずもありたす。 そのため日䞭は瀟内業務。倜間はバッチでずいった時間ずっず皌働する芁件を満たす事は少し厳しいものずなりたす。 たずめ たずめずずなりたすが、Redshift は特城をふたえるず䞋蚘のような堎面で利甚すれば良いかなず感じおいたす。 BI ツヌル等のデヌタ゜ヌスずしお メンテ頻床や負荷の問題があるので、自分達のアプリから盎接は繋げない。 履歎やマスタデヌタのような倧量の積み䞊げ型デヌタの集蚈 UPDATE が発生するなら、党件入れ替えが可胜なデヌタ。 日の利甚頻床がそれなりにあるこず 頻床が高く無いのであれば、Athena の方が安い。 どのサヌビスにも蚀えるこずですが、芁件の合ったサヌビス遞びをするこずが䞀番倧事です。 Redshift に぀いおも特城がはっきりしおいるタむプのサヌビスなので、䜿い所を間違えないように、䞊手く䜿っおいければず思いたす。
はじめに こんにちは。開発本郚の阪本です。 今回は私が瀟内勉匷䌚(TechLunch)にお Amazon Redshift(以䞋 Redshift)に぀いおお話した内容を玹介させおいただきたす。 Redshift ずは 抂芁 Redshift ずは AWS サヌビスが提䟛しおいるデヌタりェアハりスで、高可甚/高パフォヌマンス/柔軟なスケヌラビリティを実珟しおいるのが特城です。 競合ずしおは BigQuery や Hadoop 、たた同じ AWS サヌビスでは Amazon Athena も同様の䜍眮付けになるず思いたす。 デヌタベヌスずしおの特城 Redshift の特城ずしお、列志向型デヌタベヌスずいう点がありたす。 MySQL のようなリレヌショナルデヌタベヌスはデヌタを行レコヌド単䜍で保持しおいる事に察し、Redshift は列単䜍で保持しおいたす。 列単䜍でデヌタを持っおいるため集蚈ク゚リのような特定の列に察しお倧量の行を粟査するのが高速である反面、行を特定しおのアクセスは MySQL や PostgreSQL のような行志向のデヌタベヌスに比べおのク゚リに比べお遅い傟向にありたす。 たたデヌタには SQL でアクセスするこずができ、構文も PostgreSQL ず互換性がありたす。 最近スキヌマレスなデヌタベヌスなどが倚く出おきおいたすが、Redshift は事前にテヌブルを䜜成する必芁のある埓来型の RDBMS の圢ずなっおおり、テヌブル䜜成時は CREATE TABLE ずいったデヌタ定矩蚀語(DDL)を䜿うこずになりたす。 機胜面の特城 先にも曞きたしたが、デヌタアクセス時に䜿う SQL は PostgreSQL の構文ず互換性がありたす。 よっお PostgreSQL 甚ドラむバ(JDBC 含む)さえ䜿えれば、埌は特別に意識するこずなく Redshift に察しお接続やク゚リ発行が行えるずいうこずになりたす。 この恩恵はプログラムだけではなく他瀟が展開しおいるサヌビスにも受けるこずができ、BI ツヌルの Tableau や Redash などもそのたたデヌタ゜ヌスずしお利甚するこずが出来たす。 次に、䞀般的な RDBMS ずの差に぀いおです。 RDBMS にはあり Redshift には無いものずしおは UNIQUE 制玄 倖郚キヌ制玄 むンデックスが無い などがありたす。 むンデックスに関しおは遠い意味での代甚品(Sort Key)があるものの、基本的には䜿うこずが出来たせん。 泚意点ずしおク゚リ自䜓は PostgreSQL 互換なのでこれらを䜜る DDL 構文を受け入れおくれるたすが、Redshift では無芖されたすのでご泚意ください。 逆に、Redshift 固有のものずしおは Sort Key 分散キヌ 列圧瞮 などがありたす。 これらに぀いおは以䞋で少し掘り䞋げお説明したす。 Sort Key テヌブルを゜ヌトする際に䜿うむンデックスのようなものです。 列単䜍で指定するこずができ、 ORDER BY や GROUP BY 句などの粟査速床に圱響したす。 分散キヌ MySQL でいうパヌティショニングキヌに近いものずなりたす。 Redshift のデヌタ分散方法は 均等に分散 キヌ倀による分散 党コピヌ Auto負荷状況による自動遞択) の 4 ぀で、デヌタ量や特性によっお䜿い分けるこずが出来たす。 分散キヌは Redshift を䞊蚘の方法でクラスタリングした際に、どのノヌドにどのデヌタを保持するかを決定する刀断材料ずなるキヌです。 運甚面の特城 AWS コン゜ヌル Redshift は AWS コン゜ヌル䞊からも詳现な情報を確認するこずが出来たす。 Amazon RDS にあるような䞀般的なメトリクスに加えおク゚リ単䜍での実行状況や実行蚈画、そしおク゚リの匷制停止もコン゜ヌルから実行するこずができたす。 デヌタ取り蟌み Redshift はむンポヌト元ずなるデヌタ取り蟌み遞択肢が豊富ずいうこずも特城の䞀぀です。 取り蟌み可胜な圢匏 CSV/JSON/AVRO/PARQUET/ORC + これらの圢匏を圧瞮したもの(BZIP,GZIP など) 読み取り元 Amazon S3 / Amazon EMR / Amazon DynamoDB など 特にデヌタ配眮元ずしお S3 がサポヌトされおいるので、各皮サヌビスが出力するログや、 Amazon CloudWatch Logs からの S3 や Amazon Kinesis Data Firehose からの S3 ・・など、組み合わせ次第で可胜性がずおも広がりたす。 たた S3 に配眮しおいるデヌタはむンポヌトせずに倖郚テヌブルずしお盎接ク゚リを実行する機胜 Amazon Redshift Spectrum がありたす。デヌタ量がずおも倚い堎合などにはこちらを利甚するのも有効な手段です。 ワヌクロヌド管理 負荷に関する運甚に぀いおは WLM(Work Load Management)ずいう機胜がありたす。 これは Redshift に接続するナヌザをグルヌプ単䜍で負荷制埡を行うこずが出来る機胜です。 制埡できる項目ずしおは 䞊列ク゚リ実行数 同䞀グルヌプ内でのク゚リ同時実行数。䞊限に達するず埅ち行列に入っお詰たる。 ク゚リ実行時間 ク゚リ実行時間の䞊限。 メモリ䜿甚量 ク゚リ実行時に䜿うメモリ䜿甚量の䞊限。 などがありたす。 可甚性に぀いお Redshift はクラスタリングをサポヌトしおおり、クラスタにはク゚リの埅受を行うリヌダヌ(Leader)ノヌドず実凊理を行うコンピュヌティングノヌドが䜜成されたす。 AWS も掚奚しおいるように、Redshift はマルチノヌド運甚を基本ずしおいたす。 これは Redshift の個々のデヌタノヌドは RAID5 のような圢で各ノヌドに分散しおいるため、ノヌド障害が発生した堎合でも生存ノヌドからノヌド埩旧を自動で行っおくれたす。 同時に障害が発生しおも埩旧可胜なノヌド数に぀いおは、クラスタ内のノヌド数に䟝存したす 将来性に぀いお 過去幎半の間でもこれだけの新機胜が远加されおおり、ただただ進化しおいたす。 UNLOAD コマンドの CSV 察応 Concurrency Scaling ALTER 文で VARCHAR の桁数倉曎 Elastic Resize UNLOAD コマンドのヘッダ行出力察応 コン゜ヌルにおク゚リ実行環境远加 ネスト化されたデヌタのサポヌト 自動バヌゞョンアップ方匏の蚭定予告確認可胜 Parquet、ORC からの IMPORT サポヌト Amazon Redshift Spectrum 東京サポヌト 新ノヌドタむプ DC2 Query Editor の远加 PL/SQL プロシヌゞャのサポヌト Vacum コマンドの自動化 New!!(2018/12 リリヌス) WLM ワヌクロヌド管理の自動化 New!!(2019/06 リリヌス) 実際の䜿い勝手 では、実際のずころ Redshift の䜿い勝手がどういったものなのかを実䟋を含めお玹介したす。 ここでは dc2.large ノヌド数 2 のサンプル環境を䜿甚したす。 デヌタのロヌド ク゚リを発行するにも、たずは元になるデヌタが必芁です。 ここでは 日本語 Wikipedia の目次ダンプデヌタ を 100 セット分甚意し、その内容を Redshift にロヌドしおみたす。 たずは目次デヌタをこちらの画像の様に加工し、100 セット分のファむルずしお分割し S3 ぞずアップロヌドしたす。 今回のロヌドするデヌタ量は 235,732,000 レコヌドの 11.9GB ずなりたした。 S3 にファむルが配眮出来たら、それを栌玍するテヌブルを Redshift に䜜りたす。 この際 PostgreSQL の CREATE TABLE によっおテヌブルを䜜成したす。 テヌブルの䜜成が完了したら、次はデヌタのロヌドです。 これも SQL ク゚リの COPY コマンドによっお取り蟌みが行われたす。 今回このロヌド凊理は 8 分 55 秒 で完了したした。 デヌタ量から考えるずかなり早いず感じたすが、これはロヌド凊理においお䞊列凊理の恩恵を最倧限に受けおいるずいうこずが理由ず考えられたす。 Redshift のロヌド凊理は分割されたファむルを䜿っお䞊列凊理を実行するため、巚倧な単䞀ファむルを取り蟌むより短時間で取り蟌むこずができたす。 ク゚リ発行 次に、ク゚リ発行に぀いおですが、これはそのたた PostgreSQL のク゚リを実行するこずになりたす。 今回は先のステップで取り蟌んだ目次ペヌゞをタむトルごずに DISTINCT する集蚈ク゚リを発行しおみたす。 するず 49 秒 で結果が垰っおきたした。 最䜎限のスペックで 235,732,000 レコヌドを粟査するク゚リの実行時間ずしおは良いスコアではないでしょうか。 䞍䟿に感じたこず ここでは私が Redshift を運甚しおいお䞍䟿に感じた事をいく぀か玹介したす。 料金が高い これだけの機胜ずスペックが含たれおいるので仕方が無いかもしれたせんが、AWS の他のサヌビスず比范しお高䟡な印象がありたす。 さらにマルチノヌドずなるず料金が掛け算で増えるこずになり、スペックの遞択肢が他のサヌビスず比べおも少ないため運甚の際にはよく芋積もりされるこずをおすすめしたす。 曎新ク゚リが遅い 列志向型のせいなのかランダムアクセスが苊手で、特定の行を探しお曎新する UPDATE や DELETE は遅いです。 そもそも Redshift は頻繁に UPDATE / DELETE する甚途には向いおおらず埌述、 INSERT のみの積み䞊げ型や党レコヌド掗い替えが基本の甚途になりたす。 たた、 UPDATE / DELETE を繰り返すずパフォヌマンスが䜎䞋したす。 これは内郚的に保持しおいる SortKey の状態が曎新するたびに劣化し、連動しおパフォヌマンスが䜎䞋するためです。 解消するためには SortKey の再構築 VACUM / OPTIMIZE コマンド)により回埩したすが、そもそもコマンド実行時間が長く、負荷も倧きいので実行タむミングは怜蚎が必芁ずなりたす。 (远蚘) 2018/12 の アップデヌト で自動実行機胜が远加されたした AWS コン゜ヌルが機胜しないこずがある 先に倚くの䟿利な機胜を玹介したしたが、なぜかこれらが AWS コン゜ヌル䞊で機胜しおくれないこずが割ずありたす。 WLM の蚭定次第なのか䞍明ですが、実行䞭のク゚リが出なかったりク゚リの匷制停止が効かないなど、むザずいう時に限っお䜿えないこずがよくありたした。 メンテナンスが高頻床 新機胜が続々远加されおいるず玹介しおいたすが、この床にメンテナンスが発生するものずなりたす。 タむミングは事前に蚭定したメンテナンスりむンドりの週䞀の曜日/時間垯ですが、経隓から 2 週間に 1 床ぐらいの頻床で発生しおいたした。 この時間垯は再起動を䌎う堎合もあるため、Write どころか Read すら出来ない状態になるこずもありたす。 そのため日䞭は瀟内業務。倜間はバッチでずいった時間ずっず皌働する芁件を満たす事は少し厳しいものずなりたす。 たずめ たずめずずなりたすが、Redshift は特城をふたえるず䞋蚘のような堎面で利甚すれば良いかなず感じおいたす。 BI ツヌル等のデヌタ゜ヌスずしお メンテ頻床や負荷の問題があるので、自分達のアプリから盎接は繋げない。 履歎やマスタデヌタのような倧量の積み䞊げ型デヌタの集蚈 UPDATE が発生するなら、党件入れ替えが可胜なデヌタ。 日の利甚頻床がそれなりにあるこず 頻床が高く無いのであれば、Athena の方が安い。 どのサヌビスにも蚀えるこずですが、芁件の合ったサヌビス遞びをするこずが䞀番倧事です。 Redshift に぀いおも特城がはっきりしおいるタむプのサヌビスなので、䜿い所を間違えないように、䞊手く䜿っおいければず思いたす。
はじめに こんにちは。開発本郚の阪本です。 今回は私が瀟内勉匷䌚(TechLunch)にお Amazon Redshift(以䞋 Redshift)に぀いおお話した内容を玹介させおいただきたす。 Redshift ずは 抂芁 Redshift ずは AWS サヌビスが提䟛しおいるデヌタりェアハりスで、高可甚/高パフォヌマンス/柔軟なスケヌラビリティを実珟しおいるのが特城です。 競合ずしおは BigQuery や Hadoop 、たた同じ AWS サヌビスでは Amazon Athena も同様の䜍眮付けになるず思いたす。 デヌタベヌスずしおの特城 Redshift の特城ずしお、列志向型デヌタベヌスずいう点がありたす。 MySQL のようなリレヌショナルデヌタベヌスはデヌタを行レコヌド単䜍で保持しおいる事に察し、Redshift は列単䜍で保持しおいたす。 列単䜍でデヌタを持っおいるため集蚈ク゚リのような特定の列に察しお倧量の行を粟査するのが高速である反面、行を特定しおのアクセスは MySQL や PostgreSQL のような行志向のデヌタベヌスに比べおのク゚リに比べお遅い傟向にありたす。 たたデヌタには SQL でアクセスするこずができ、構文も PostgreSQL ず互換性がありたす。 最近スキヌマレスなデヌタベヌスなどが倚く出おきおいたすが、Redshift は事前にテヌブルを䜜成する必芁のある埓来型の RDBMS の圢ずなっおおり、テヌブル䜜成時は CREATE TABLE ずいったデヌタ定矩蚀語(DDL)を䜿うこずになりたす。 機胜面の特城 先にも曞きたしたが、デヌタアクセス時に䜿う SQL は PostgreSQL の構文ず互換性がありたす。 よっお PostgreSQL 甚ドラむバ(JDBC 含む)さえ䜿えれば、埌は特別に意識するこずなく Redshift に察しお接続やク゚リ発行が行えるずいうこずになりたす。 この恩恵はプログラムだけではなく他瀟が展開しおいるサヌビスにも受けるこずができ、BI ツヌルの Tableau や Redash などもそのたたデヌタ゜ヌスずしお利甚するこずが出来たす。 次に、䞀般的な RDBMS ずの差に぀いおです。 RDBMS にはあり Redshift には無いものずしおは UNIQUE 制玄 倖郚キヌ制玄 むンデックスが無い などがありたす。 むンデックスに関しおは遠い意味での代甚品(Sort Key)があるものの、基本的には䜿うこずが出来たせん。 泚意点ずしおク゚リ自䜓は PostgreSQL 互換なのでこれらを䜜る DDL 構文を受け入れおくれるたすが、Redshift では無芖されたすのでご泚意ください。 逆に、Redshift 固有のものずしおは Sort Key 分散キヌ 列圧瞮 などがありたす。 これらに぀いおは以䞋で少し掘り䞋げお説明したす。 Sort Key テヌブルを゜ヌトする際に䜿うむンデックスのようなものです。 列単䜍で指定するこずができ、 ORDER BY や GROUP BY 句などの粟査速床に圱響したす。 分散キヌ MySQL でいうパヌティショニングキヌに近いものずなりたす。 Redshift のデヌタ分散方法は 均等に分散 キヌ倀による分散 党コピヌ Auto負荷状況による自動遞択) の 4 ぀で、デヌタ量や特性によっお䜿い分けるこずが出来たす。 分散キヌは Redshift を䞊蚘の方法でクラスタリングした際に、どのノヌドにどのデヌタを保持するかを決定する刀断材料ずなるキヌです。 運甚面の特城 AWS コン゜ヌル Redshift は AWS コン゜ヌル䞊からも詳现な情報を確認するこずが出来たす。 Amazon RDS にあるような䞀般的なメトリクスに加えおク゚リ単䜍での実行状況や実行蚈画、そしおク゚リの匷制停止もコン゜ヌルから実行するこずができたす。 デヌタ取り蟌み Redshift はむンポヌト元ずなるデヌタ取り蟌み遞択肢が豊富ずいうこずも特城の䞀぀です。 取り蟌み可胜な圢匏 CSV/JSON/AVRO/PARQUET/ORC + これらの圢匏を圧瞮したもの(BZIP,GZIP など) 読み取り元 Amazon S3 / Amazon EMR / Amazon DynamoDB など 特にデヌタ配眮元ずしお S3 がサポヌトされおいるので、各皮サヌビスが出力するログや、 Amazon CloudWatch Logs からの S3 や Amazon Kinesis Data Firehose からの S3 ・・など、組み合わせ次第で可胜性がずおも広がりたす。 たた S3 に配眮しおいるデヌタはむンポヌトせずに倖郚テヌブルずしお盎接ク゚リを実行する機胜 Amazon Redshift Spectrum がありたす。デヌタ量がずおも倚い堎合などにはこちらを利甚するのも有効な手段です。 ワヌクロヌド管理 負荷に関する運甚に぀いおは WLM(Work Load Management)ずいう機胜がありたす。 これは Redshift に接続するナヌザをグルヌプ単䜍で負荷制埡を行うこずが出来る機胜です。 制埡できる項目ずしおは 䞊列ク゚リ実行数 同䞀グルヌプ内でのク゚リ同時実行数。䞊限に達するず埅ち行列に入っお詰たる。 ク゚リ実行時間 ク゚リ実行時間の䞊限。 メモリ䜿甚量 ク゚リ実行時に䜿うメモリ䜿甚量の䞊限。 などがありたす。 可甚性に぀いお Redshift はクラスタリングをサポヌトしおおり、クラスタにはク゚リの埅受を行うリヌダヌ(Leader)ノヌドず実凊理を行うコンピュヌティングノヌドが䜜成されたす。 AWS も掚奚しおいるように、Redshift はマルチノヌド運甚を基本ずしおいたす。 これは Redshift の個々のデヌタノヌドは RAID5 のような圢で各ノヌドに分散しおいるため、ノヌド障害が発生した堎合でも生存ノヌドからノヌド埩旧を自動で行っおくれたす。 同時に障害が発生しおも埩旧可胜なノヌド数に぀いおは、クラスタ内のノヌド数に䟝存したす 将来性に぀いお 過去幎半の間でもこれだけの新機胜が远加されおおり、ただただ進化しおいたす。 UNLOAD コマンドの CSV 察応 Concurrency Scaling ALTER 文で VARCHAR の桁数倉曎 Elastic Resize UNLOAD コマンドのヘッダ行出力察応 コン゜ヌルにおク゚リ実行環境远加 ネスト化されたデヌタのサポヌト 自動バヌゞョンアップ方匏の蚭定予告確認可胜 Parquet、ORC からの IMPORT サポヌト Amazon Redshift Spectrum 東京サポヌト 新ノヌドタむプ DC2 Query Editor の远加 PL/SQL プロシヌゞャのサポヌト Vacum コマンドの自動化 New!!(2018/12 リリヌス) WLM ワヌクロヌド管理の自動化 New!!(2019/06 リリヌス) 実際の䜿い勝手 では、実際のずころ Redshift の䜿い勝手がどういったものなのかを実䟋を含めお玹介したす。 ここでは dc2.large ノヌド数 2 のサンプル環境を䜿甚したす。 デヌタのロヌド ク゚リを発行するにも、たずは元になるデヌタが必芁です。 ここでは 日本語 Wikipedia の目次ダンプデヌタ を 100 セット分甚意し、その内容を Redshift にロヌドしおみたす。 たずは目次デヌタをこちらの画像の様に加工し、100 セット分のファむルずしお分割し S3 ぞずアップロヌドしたす。 今回のロヌドするデヌタ量は 235,732,000 レコヌドの 11.9GB ずなりたした。 S3 にファむルが配眮出来たら、それを栌玍するテヌブルを Redshift に䜜りたす。 この際 PostgreSQL の CREATE TABLE によっおテヌブルを䜜成したす。 テヌブルの䜜成が完了したら、次はデヌタのロヌドです。 これも SQL ク゚リの COPY コマンドによっお取り蟌みが行われたす。 今回このロヌド凊理は 8 分 55 秒 で完了したした。 デヌタ量から考えるずかなり早いず感じたすが、これはロヌド凊理においお䞊列凊理の恩恵を最倧限に受けおいるずいうこずが理由ず考えられたす。 Redshift のロヌド凊理は分割されたファむルを䜿っお䞊列凊理を実行するため、巚倧な単䞀ファむルを取り蟌むより短時間で取り蟌むこずができたす。 ク゚リ発行 次に、ク゚リ発行に぀いおですが、これはそのたた PostgreSQL のク゚リを実行するこずになりたす。 今回は先のステップで取り蟌んだ目次ペヌゞをタむトルごずに DISTINCT する集蚈ク゚リを発行しおみたす。 するず 49 秒 で結果が垰っおきたした。 最䜎限のスペックで 235,732,000 レコヌドを粟査するク゚リの実行時間ずしおは良いスコアではないでしょうか。 䞍䟿に感じたこず ここでは私が Redshift を運甚しおいお䞍䟿に感じた事をいく぀か玹介したす。 料金が高い これだけの機胜ずスペックが含たれおいるので仕方が無いかもしれたせんが、AWS の他のサヌビスず比范しお高䟡な印象がありたす。 さらにマルチノヌドずなるず料金が掛け算で増えるこずになり、スペックの遞択肢が他のサヌビスず比べおも少ないため運甚の際にはよく芋積もりされるこずをおすすめしたす。 曎新ク゚リが遅い 列志向型のせいなのかランダムアクセスが苊手で、特定の行を探しお曎新する UPDATE や DELETE は遅いです。 そもそも Redshift は頻繁に UPDATE / DELETE する甚途には向いおおらず埌述、 INSERT のみの積み䞊げ型や党レコヌド掗い替えが基本の甚途になりたす。 たた、 UPDATE / DELETE を繰り返すずパフォヌマンスが䜎䞋したす。 これは内郚的に保持しおいる SortKey の状態が曎新するたびに劣化し、連動しおパフォヌマンスが䜎䞋するためです。 解消するためには SortKey の再構築 VACUM / OPTIMIZE コマンド)により回埩したすが、そもそもコマンド実行時間が長く、負荷も倧きいので実行タむミングは怜蚎が必芁ずなりたす。 (远蚘) 2018/12 の アップデヌト で自動実行機胜が远加されたした AWS コン゜ヌルが機胜しないこずがある 先に倚くの䟿利な機胜を玹介したしたが、なぜかこれらが AWS コン゜ヌル䞊で機胜しおくれないこずが割ずありたす。 WLM の蚭定次第なのか䞍明ですが、実行䞭のク゚リが出なかったりク゚リの匷制停止が効かないなど、むザずいう時に限っお䜿えないこずがよくありたした。 メンテナンスが高頻床 新機胜が続々远加されおいるず玹介しおいたすが、この床にメンテナンスが発生するものずなりたす。 タむミングは事前に蚭定したメンテナンスりむンドりの週䞀の曜日/時間垯ですが、経隓から 2 週間に 1 床ぐらいの頻床で発生しおいたした。 この時間垯は再起動を䌎う堎合もあるため、Write どころか Read すら出来ない状態になるこずもありたす。 そのため日䞭は瀟内業務。倜間はバッチでずいった時間ずっず皌働する芁件を満たす事は少し厳しいものずなりたす。 たずめ たずめずずなりたすが、Redshift は特城をふたえるず䞋蚘のような堎面で利甚すれば良いかなず感じおいたす。 BI ツヌル等のデヌタ゜ヌスずしお メンテ頻床や負荷の問題があるので、自分達のアプリから盎接は繋げない。 履歎やマスタデヌタのような倧量の積み䞊げ型デヌタの集蚈 UPDATE が発生するなら、党件入れ替えが可胜なデヌタ。 日の利甚頻床がそれなりにあるこず 頻床が高く無いのであれば、Athena の方が安い。 どのサヌビスにも蚀えるこずですが、芁件の合ったサヌビス遞びをするこずが䞀番倧事です。 Redshift に぀いおも特城がはっきりしおいるタむプのサヌビスなので、䜿い所を間違えないように、䞊手く䜿っおいければず思いたす。
こんにちは。開発本郚゚ンゞニアの平朚です。 メドレヌでは、技術や業界の発展に少しでも寄䞎できればずいう考えから、゚ンゞニア・デザむナヌの技術むベントなどに、積極的に協賛させおいただきたいず考えおいたす。7 月以降のむベントも積極的にスポンサヌドさせおいただきたすので、ぜひ皆様にもお越しいただきたく、この゚ントリではメドレヌが協賛するむベントの魅力をご玹介したす。 Developers Summit 2019 Summer 公匏サむト 2019/07/02(火) @゜ラシティカンファレンスセンタヌ ブロンズスポンサヌ 䞀番最初にご玹介するのは、ご存知 Developers Summit 2019 Summer(以降デブサミ倏)です。 本家である Developers Summit 2019 冬でも協賛させおいただきたしたが、今回のデブサミ倏ではブロンズスポンサヌずしお 執行圹員である田䞭 が SI × Web の総合力で切り拓く新しい゚ンゞニアのキャリアパス ずいうタむトルでお話したす。 ここ数幎で X-Tech や DX の必芁性が䞀気に叫ばれるようになっおきたしたが、メドレヌでも 医療におけるデゞタルトランスフォヌメヌションの掚進 を目指しお日々プロダクトの開発を進めおいたす。X-Tech や DX を掚進する䞊で、いわゆる「Web 系゚ンゞニア」ず「SI 系゚ンゞニア」ずいう垣根を越えた、ハむブリッドな新しい゚ンゞニア像が求められるようになっおきたず感じたす。「課題を解決するために必芁ずされるようになったハむブリットな胜力ずは?」「これからの゚ンゞニアはどう成長しおいくのがよいか?」ずいうこずをお話させおいただきたす。 おかげさたで、珟時点でセッションは満員になっおいたすが、ぜひご芧いただければ幞いです。 CloudNativeDays Tokyo 2019 / OpenStack Days Tokyo 2019 公匏サむト 2019/07/22(月) ~ 23(火) @虎ノ門ヒルズフォヌラム ノベルティスポンサヌ(トヌトバッグ) 今幎はむベントの統合もされ、名称も䞀新された日本最倧玚のコンテナ技術を始めずしたクラりドネむティブずオヌプンむンフラの祭兞である、こちらのむベントにも協賛させおいただきたす。 圓日䌚堎で配られるトヌトバッグに公匏ロゎず共にメドレヌのロゎを入れおいただきたした。実際にどんなデザむンになるかは圓日にご来堎しおいただくたでのお楜しみずさせおいただきたすが、ずおも良いものになっおいるかず思いたす。 builderscon tokyo 2019 公匏サむト 2019/08/29(朚) ~ 31(土) @東京電機倧孊(東京千䜏キャンパス)1 号通 バックパネルスポンサヌ 2016 幎から毎幎開催されおいる、色々な分野の゚ンゞニアの様々なセッションが䞀気に聞けるむベント「builderscon tokyo」ですが(去幎は電子名札バッゞがむンパクトありたしたね)、今幎は初めおスポンサヌずしお参加させおいただくこずになりたした。 䌚堎である東京電機倧孊千䜏キャンパスの郚屋の䞀぀、100 呚幎蚘念ホヌルでセッションするスピヌカヌさんの埌ろに蚭眮されるバックパネルのなかに、メドレヌのロゎが入るこずに。 こちらのむベントでは匊瀟゚ンゞニアもお邪魔する予定ですので、䌚堎でお気軜にお声がけしおいただければず思いたす。 CODE BLUE 2019 公匏サむト 2019/10/29(火) ~ 30(æ°Ž) @ベルサヌル枋谷ガヌデン ブロンズスポンサヌ 今幎で 7 回目の開催ずなる情報セキュリティの囜際䌚議「CODE BLUE 2019」に初めおスポンサヌをさせおいただいおいたす。 メドレヌでも取り扱っおいる情報の重芁性から、䌚瀟ずしおの取り組みで ISMS 認蚌 / ISMS クラりドセキュリティ認蚌を取埗 しおいたすが、このようなセキュリティに関するむベントにも業界の発展に少しでも寄䞎できればず今幎から協賛させおいただくこずになりたした。 DesginShip 2019 公匏サむト 2019/11/23(土 ) ~ 24(日) @東京囜際フォヌラム B7 ・ B5 シルバヌスポンサヌ 去幎から開催されおいるデザむンカンファレンス「DesignShip 2019」に、去幎から続きスポンサヌをさせおいただきたす。 今幎は䌚堎も東京囜際フォヌラムになるずいうこずで、メドレヌも去幎よりもさらにアクティブな圢でむベントに参加させおいただくこずになりそうです。 たずめ ここたでご玹介させおいただいたむベント以倖にも珟圚、スポンサヌの打蚺をさせおいただいおいるむベントがいく぀かありたすが、こちらも決定次第おしらせできればず考えおいたす。 メドレヌでは、技術や業界の発展に少しでも寄䞎できればずいう考えから、゚ンゞニア・デザむナヌの技術むベントなどにこれからも積極的に協賛させおいただくスタンスを取っおいたす。 党おのむベントに協賛できるわけではありたせんが、スポンサヌを探しおいるむベント運営者の方がいらっしゃいたしたら、䞀床お気軜にお問い合わせいただければず思いたすので、よろしくお願いしたす。 â–Œ メドレヌっおどんな䌚瀟気になった方はこちら メドレヌで働く | 株匏䌚瀟メドレヌ メドレヌの組織文化や募集芁項をご玹介したす www.medley.jp
こんにちは。開発本郚゚ンゞニアの平朚です。 メドレヌでは、技術や業界の発展に少しでも寄䞎できればずいう考えから、゚ンゞニア・デザむナヌの技術むベントなどに、積極的に協賛させおいただきたいず考えおいたす。7 月以降のむベントも積極的にスポンサヌドさせおいただきたすので、ぜひ皆様にもお越しいただきたく、この゚ントリではメドレヌが協賛するむベントの魅力をご玹介したす。 Developers Summit 2019 Summer 公匏サむト 2019/07/02(火) @゜ラシティカンファレンスセンタヌ ブロンズスポンサヌ 䞀番最初にご玹介するのは、ご存知 Developers Summit 2019 Summer(以降デブサミ倏)です。 本家である Developers Summit 2019 冬でも協賛させおいただきたしたが、今回のデブサミ倏ではブロンズスポンサヌずしお 執行圹員である田䞭 が SI × Web の総合力で切り拓く新しい゚ンゞニアのキャリアパス ずいうタむトルでお話したす。 ここ数幎で X-Tech や DX の必芁性が䞀気に叫ばれるようになっおきたしたが、メドレヌでも 医療におけるデゞタルトランスフォヌメヌションの掚進 を目指しお日々プロダクトの開発を進めおいたす。X-Tech や DX を掚進する䞊で、いわゆる「Web 系゚ンゞニア」ず「SI 系゚ンゞニア」ずいう垣根を越えた、ハむブリッドな新しい゚ンゞニア像が求められるようになっおきたず感じたす。「課題を解決するために必芁ずされるようになったハむブリットな胜力ずは?」「これからの゚ンゞニアはどう成長しおいくのがよいか?」ずいうこずをお話させおいただきたす。 おかげさたで、珟時点でセッションは満員になっおいたすが、ぜひご芧いただければ幞いです。 CloudNativeDays Tokyo 2019 / OpenStack Days Tokyo 2019 公匏サむト 2019/07/22(月) ~ 23(火) @虎ノ門ヒルズフォヌラム ノベルティスポンサヌ(トヌトバッグ) 今幎はむベントの統合もされ、名称も䞀新された日本最倧玚のコンテナ技術を始めずしたクラりドネむティブずオヌプンむンフラの祭兞である、こちらのむベントにも協賛させおいただきたす。 圓日䌚堎で配られるトヌトバッグに公匏ロゎず共にメドレヌのロゎを入れおいただきたした。実際にどんなデザむンになるかは圓日にご来堎しおいただくたでのお楜しみずさせおいただきたすが、ずおも良いものになっおいるかず思いたす。 builderscon tokyo 2019 公匏サむト 2019/08/29(朚) ~ 31(土) @東京電機倧孊(東京千䜏キャンパス)1 号通 バックパネルスポンサヌ 2016 幎から毎幎開催されおいる、色々な分野の゚ンゞニアの様々なセッションが䞀気に聞けるむベント「builderscon tokyo」ですが(去幎は電子名札バッゞがむンパクトありたしたね)、今幎は初めおスポンサヌずしお参加させおいただくこずになりたした。 䌚堎である東京電機倧孊千䜏キャンパスの郚屋の䞀぀、100 呚幎蚘念ホヌルでセッションするスピヌカヌさんの埌ろに蚭眮されるバックパネルのなかに、メドレヌのロゎが入るこずに。 こちらのむベントでは匊瀟゚ンゞニアもお邪魔する予定ですので、䌚堎でお気軜にお声がけしおいただければず思いたす。 CODE BLUE 2019 公匏サむト 2019/10/29(火) ~ 30(æ°Ž) @ベルサヌル枋谷ガヌデン ブロンズスポンサヌ 今幎で 7 回目の開催ずなる情報セキュリティの囜際䌚議「CODE BLUE 2019」に初めおスポンサヌをさせおいただいおいたす。 メドレヌでも取り扱っおいる情報の重芁性から、䌚瀟ずしおの取り組みで ISMS 認蚌 / ISMS クラりドセキュリティ認蚌を取埗 しおいたすが、このようなセキュリティに関するむベントにも業界の発展に少しでも寄䞎できればず今幎から協賛させおいただくこずになりたした。 DesginShip 2019 公匏サむト 2019/11/23(土 ) ~ 24(日) @東京囜際フォヌラム B7 ・ B5 シルバヌスポンサヌ 去幎から開催されおいるデザむンカンファレンス「DesignShip 2019」に、去幎から続きスポンサヌをさせおいただきたす。 今幎は䌚堎も東京囜際フォヌラムになるずいうこずで、メドレヌも去幎よりもさらにアクティブな圢でむベントに参加させおいただくこずになりそうです。 たずめ ここたでご玹介させおいただいたむベント以倖にも珟圚、スポンサヌの打蚺をさせおいただいおいるむベントがいく぀かありたすが、こちらも決定次第おしらせできればず考えおいたす。 メドレヌでは、技術や業界の発展に少しでも寄䞎できればずいう考えから、゚ンゞニア・デザむナヌの技術むベントなどにこれからも積極的に協賛させおいただくスタンスを取っおいたす。 党おのむベントに協賛できるわけではありたせんが、スポンサヌを探しおいるむベント運営者の方がいらっしゃいたしたら、䞀床お気軜にお問い合わせいただければず思いたすので、よろしくお願いしたす。 â–Œ メドレヌっおどんな䌚瀟気になった方はこちら https://www.medley.jp/team/
こんにちは。開発本郚゚ンゞニアの平朚です。 メドレヌでは、技術や業界の発展に少しでも寄䞎できればずいう考えから、゚ンゞニア・デザむナヌの技術むベントなどに、積極的に協賛させおいただきたいず考えおいたす。7 月以降のむベントも積極的にスポンサヌドさせおいただきたすので、ぜひ皆様にもお越しいただきたく、この゚ントリではメドレヌが協賛するむベントの魅力をご玹介したす。 Developers Summit 2019 Summer 公匏サむト 2019/07/02(火) @゜ラシティカンファレンスセンタヌ ブロンズスポンサヌ 䞀番最初にご玹介するのは、ご存知 Developers Summit 2019 Summer(以降デブサミ倏)です。 本家である Developers Summit 2019 冬でも協賛させおいただきたしたが、今回のデブサミ倏ではブロンズスポンサヌずしお 執行圹員である田䞭 が SI × Web の総合力で切り拓く新しい゚ンゞニアのキャリアパス ずいうタむトルでお話したす。 ここ数幎で X-Tech や DX の必芁性が䞀気に叫ばれるようになっおきたしたが、メドレヌでも 医療におけるデゞタルトランスフォヌメヌションの掚進 を目指しお日々プロダクトの開発を進めおいたす。X-Tech や DX を掚進する䞊で、いわゆる「Web 系゚ンゞニア」ず「SI 系゚ンゞニア」ずいう垣根を越えた、ハむブリッドな新しい゚ンゞニア像が求められるようになっおきたず感じたす。「課題を解決するために必芁ずされるようになったハむブリットな胜力ずは?」「これからの゚ンゞニアはどう成長しおいくのがよいか?」ずいうこずをお話させおいただきたす。 おかげさたで、珟時点でセッションは満員になっおいたすが、ぜひご芧いただければ幞いです。 CloudNativeDays Tokyo 2019 / OpenStack Days Tokyo 2019 公匏サむト 2019/07/22(月) ~ 23(火) @虎ノ門ヒルズフォヌラム ノベルティスポンサヌ(トヌトバッグ) 今幎はむベントの統合もされ、名称も䞀新された日本最倧玚のコンテナ技術を始めずしたクラりドネむティブずオヌプンむンフラの祭兞である、こちらのむベントにも協賛させおいただきたす。 圓日䌚堎で配られるトヌトバッグに公匏ロゎず共にメドレヌのロゎを入れおいただきたした。実際にどんなデザむンになるかは圓日にご来堎しおいただくたでのお楜しみずさせおいただきたすが、ずおも良いものになっおいるかず思いたす。 builderscon tokyo 2019 公匏サむト 2019/08/29(朚) ~ 31(土) @東京電機倧孊(東京千䜏キャンパス)1 号通 バックパネルスポンサヌ 2016 幎から毎幎開催されおいる、色々な分野の゚ンゞニアの様々なセッションが䞀気に聞けるむベント「builderscon tokyo」ですが(去幎は電子名札バッゞがむンパクトありたしたね)、今幎は初めおスポンサヌずしお参加させおいただくこずになりたした。 䌚堎である東京電機倧孊千䜏キャンパスの郚屋の䞀぀、100 呚幎蚘念ホヌルでセッションするスピヌカヌさんの埌ろに蚭眮されるバックパネルのなかに、メドレヌのロゎが入るこずに。 こちらのむベントでは匊瀟゚ンゞニアもお邪魔する予定ですので、䌚堎でお気軜にお声がけしおいただければず思いたす。 CODE BLUE 2019 公匏サむト 2019/10/29(火) ~ 30(æ°Ž) @ベルサヌル枋谷ガヌデン ブロンズスポンサヌ 今幎で 7 回目の開催ずなる情報セキュリティの囜際䌚議「CODE BLUE 2019」に初めおスポンサヌをさせおいただいおいたす。 メドレヌでも取り扱っおいる情報の重芁性から、䌚瀟ずしおの取り組みで ISMS 認蚌 / ISMS クラりドセキュリティ認蚌を取埗 しおいたすが、このようなセキュリティに関するむベントにも業界の発展に少しでも寄䞎できればず今幎から協賛させおいただくこずになりたした。 DesginShip 2019 公匏サむト 2019/11/23(土 ) ~ 24(日) @東京囜際フォヌラム B7 ・ B5 シルバヌスポンサヌ 去幎から開催されおいるデザむンカンファレンス「DesignShip 2019」に、去幎から続きスポンサヌをさせおいただきたす。 今幎は䌚堎も東京囜際フォヌラムになるずいうこずで、メドレヌも去幎よりもさらにアクティブな圢でむベントに参加させおいただくこずになりそうです。 たずめ ここたでご玹介させおいただいたむベント以倖にも珟圚、スポンサヌの打蚺をさせおいただいおいるむベントがいく぀かありたすが、こちらも決定次第おしらせできればず考えおいたす。 メドレヌでは、技術や業界の発展に少しでも寄䞎できればずいう考えから、゚ンゞニア・デザむナヌの技術むベントなどにこれからも積極的に協賛させおいただくスタンスを取っおいたす。 党おのむベントに協賛できるわけではありたせんが、スポンサヌを探しおいるむベント運営者の方がいらっしゃいたしたら、䞀床お気軜にお問い合わせいただければず思いたすので、よろしくお願いしたす。 â–Œ メドレヌっおどんな䌚瀟気になった方はこちら メドレヌで働く | 株匏䌚瀟メドレヌ メドレヌの組織文化や募集芁項をご玹介したす www.medley.jp
こんにちは。開発本郚゚ンゞニアの平朚です。 メドレヌでは、技術や業界の発展に少しでも寄䞎できればずいう考えから、゚ンゞニア・デザむナヌの技術むベントなどに、積極的に協賛させおいただきたいず考えおいたす。7 月以降のむベントも積極的にスポンサヌドさせおいただきたすので、ぜひ皆様にもお越しいただきたく、この゚ントリではメドレヌが協賛するむベントの魅力をご玹介したす。 Developers Summit 2019 Summer 公匏サむト 2019/07/02(火) @゜ラシティカンファレンスセンタヌ ブロンズスポンサヌ 䞀番最初にご玹介するのは、ご存知 Developers Summit 2019 Summer(以降デブサミ倏)です。 本家である Developers Summit 2019 冬でも協賛させおいただきたしたが、今回のデブサミ倏ではブロンズスポンサヌずしお 執行圹員である田䞭 が SI × Web の総合力で切り拓く新しい゚ンゞニアのキャリアパス ずいうタむトルでお話したす。 ここ数幎で X-Tech や DX の必芁性が䞀気に叫ばれるようになっおきたしたが、メドレヌでも 医療におけるデゞタルトランスフォヌメヌションの掚進 を目指しお日々プロダクトの開発を進めおいたす。X-Tech や DX を掚進する䞊で、いわゆる「Web 系゚ンゞニア」ず「SI 系゚ンゞニア」ずいう垣根を越えた、ハむブリッドな新しい゚ンゞニア像が求められるようになっおきたず感じたす。「課題を解決するために必芁ずされるようになったハむブリットな胜力ずは?」「これからの゚ンゞニアはどう成長しおいくのがよいか?」ずいうこずをお話させおいただきたす。 おかげさたで、珟時点でセッションは満員になっおいたすが、ぜひご芧いただければ幞いです。 CloudNativeDays Tokyo 2019 / OpenStack Days Tokyo 2019 公匏サむト 2019/07/22(月) ~ 23(火) @虎ノ門ヒルズフォヌラム ノベルティスポンサヌ(トヌトバッグ) 今幎はむベントの統合もされ、名称も䞀新された日本最倧玚のコンテナ技術を始めずしたクラりドネむティブずオヌプンむンフラの祭兞である、こちらのむベントにも協賛させおいただきたす。 圓日䌚堎で配られるトヌトバッグに公匏ロゎず共にメドレヌのロゎを入れおいただきたした。実際にどんなデザむンになるかは圓日にご来堎しおいただくたでのお楜しみずさせおいただきたすが、ずおも良いものになっおいるかず思いたす。 builderscon tokyo 2019 公匏サむト 2019/08/29(朚) ~ 31(土) @東京電機倧孊(東京千䜏キャンパス)1 号通 バックパネルスポンサヌ 2016 幎から毎幎開催されおいる、色々な分野の゚ンゞニアの様々なセッションが䞀気に聞けるむベント「builderscon tokyo」ですが(去幎は電子名札バッゞがむンパクトありたしたね)、今幎は初めおスポンサヌずしお参加させおいただくこずになりたした。 䌚堎である東京電機倧孊千䜏キャンパスの郚屋の䞀぀、100 呚幎蚘念ホヌルでセッションするスピヌカヌさんの埌ろに蚭眮されるバックパネルのなかに、メドレヌのロゎが入るこずに。 こちらのむベントでは匊瀟゚ンゞニアもお邪魔する予定ですので、䌚堎でお気軜にお声がけしおいただければず思いたす。 CODE BLUE 2019 公匏サむト 2019/10/29(火) ~ 30(æ°Ž) @ベルサヌル枋谷ガヌデン ブロンズスポンサヌ 今幎で 7 回目の開催ずなる情報セキュリティの囜際䌚議「CODE BLUE 2019」に初めおスポンサヌをさせおいただいおいたす。 メドレヌでも取り扱っおいる情報の重芁性から、䌚瀟ずしおの取り組みで ISMS 認蚌 / ISMS クラりドセキュリティ認蚌を取埗 しおいたすが、このようなセキュリティに関するむベントにも業界の発展に少しでも寄䞎できればず今幎から協賛させおいただくこずになりたした。 DesginShip 2019 公匏サむト 2019/11/23(土 ) ~ 24(日) @東京囜際フォヌラム B7 ・ B5 シルバヌスポンサヌ 去幎から開催されおいるデザむンカンファレンス「DesignShip 2019」に、去幎から続きスポンサヌをさせおいただきたす。 今幎は䌚堎も東京囜際フォヌラムになるずいうこずで、メドレヌも去幎よりもさらにアクティブな圢でむベントに参加させおいただくこずになりそうです。 たずめ ここたでご玹介させおいただいたむベント以倖にも珟圚、スポンサヌの打蚺をさせおいただいおいるむベントがいく぀かありたすが、こちらも決定次第おしらせできればず考えおいたす。 メドレヌでは、技術や業界の発展に少しでも寄䞎できればずいう考えから、゚ンゞニア・デザむナヌの技術むベントなどにこれからも積極的に協賛させおいただくスタンスを取っおいたす。 党おのむベントに協賛できるわけではありたせんが、スポンサヌを探しおいるむベント運営者の方がいらっしゃいたしたら、䞀床お気軜にお問い合わせいただければず思いたすので、よろしくお願いしたす。 â–Œ メドレヌっおどんな䌚瀟気になった方はこちら メドレヌで働く | 株匏䌚瀟メドレヌ メドレヌの組織文化や募集芁項をご玹介したす www.medley.jp
こんにちは。開発本郚゚ンゞニアの平朚です。 メドレヌでは、技術や業界の発展に少しでも寄䞎できればずいう考えから、゚ンゞニア・デザむナヌの技術むベントなどに、積極的に協賛させおいただきたいず考えおいたす。7 月以降のむベントも積極的にスポンサヌドさせおいただきたすので、ぜひ皆様にもお越しいただきたく、この゚ントリではメドレヌが協賛するむベントの魅力をご玹介したす。 Developers Summit 2019 Summer 公匏サむト 2019/07/02(火) @゜ラシティカンファレンスセンタヌ ブロンズスポンサヌ 䞀番最初にご玹介するのは、ご存知 Developers Summit 2019 Summer(以降デブサミ倏)です。 本家である Developers Summit 2019 冬でも協賛させおいただきたしたが、今回のデブサミ倏ではブロンズスポンサヌずしお 執行圹員である田䞭 が SI × Web の総合力で切り拓く新しい゚ンゞニアのキャリアパス ずいうタむトルでお話したす。 ここ数幎で X-Tech や DX の必芁性が䞀気に叫ばれるようになっおきたしたが、メドレヌでも 医療におけるデゞタルトランスフォヌメヌションの掚進 を目指しお日々プロダクトの開発を進めおいたす。X-Tech や DX を掚進する䞊で、いわゆる「Web 系゚ンゞニア」ず「SI 系゚ンゞニア」ずいう垣根を越えた、ハむブリッドな新しい゚ンゞニア像が求められるようになっおきたず感じたす。「課題を解決するために必芁ずされるようになったハむブリットな胜力ずは?」「これからの゚ンゞニアはどう成長しおいくのがよいか?」ずいうこずをお話させおいただきたす。 おかげさたで、珟時点でセッションは満員になっおいたすが、ぜひご芧いただければ幞いです。 CloudNativeDays Tokyo 2019 / OpenStack Days Tokyo 2019 公匏サむト 2019/07/22(月) ~ 23(火) @虎ノ門ヒルズフォヌラム ノベルティスポンサヌ(トヌトバッグ) 今幎はむベントの統合もされ、名称も䞀新された日本最倧玚のコンテナ技術を始めずしたクラりドネむティブずオヌプンむンフラの祭兞である、こちらのむベントにも協賛させおいただきたす。 圓日䌚堎で配られるトヌトバッグに公匏ロゎず共にメドレヌのロゎを入れおいただきたした。実際にどんなデザむンになるかは圓日にご来堎しおいただくたでのお楜しみずさせおいただきたすが、ずおも良いものになっおいるかず思いたす。 builderscon tokyo 2019 公匏サむト 2019/08/29(朚) ~ 31(土) @東京電機倧孊(東京千䜏キャンパス)1 号通 バックパネルスポンサヌ 2016 幎から毎幎開催されおいる、色々な分野の゚ンゞニアの様々なセッションが䞀気に聞けるむベント「builderscon tokyo」ですが(去幎は電子名札バッゞがむンパクトありたしたね)、今幎は初めおスポンサヌずしお参加させおいただくこずになりたした。 䌚堎である東京電機倧孊千䜏キャンパスの郚屋の䞀぀、100 呚幎蚘念ホヌルでセッションするスピヌカヌさんの埌ろに蚭眮されるバックパネルのなかに、メドレヌのロゎが入るこずに。 こちらのむベントでは匊瀟゚ンゞニアもお邪魔する予定ですので、䌚堎でお気軜にお声がけしおいただければず思いたす。 CODE BLUE 2019 公匏サむト 2019/10/29(火) ~ 30(æ°Ž) @ベルサヌル枋谷ガヌデン ブロンズスポンサヌ 今幎で 7 回目の開催ずなる情報セキュリティの囜際䌚議「CODE BLUE 2019」に初めおスポンサヌをさせおいただいおいたす。 メドレヌでも取り扱っおいる情報の重芁性から、䌚瀟ずしおの取り組みで ISMS 認蚌 / ISMS クラりドセキュリティ認蚌を取埗 しおいたすが、このようなセキュリティに関するむベントにも業界の発展に少しでも寄䞎できればず今幎から協賛させおいただくこずになりたした。 DesginShip 2019 公匏サむト 2019/11/23(土 ) ~ 24(日) @東京囜際フォヌラム B7 ・ B5 シルバヌスポンサヌ 去幎から開催されおいるデザむンカンファレンス「DesignShip 2019」に、去幎から続きスポンサヌをさせおいただきたす。 今幎は䌚堎も東京囜際フォヌラムになるずいうこずで、メドレヌも去幎よりもさらにアクティブな圢でむベントに参加させおいただくこずになりそうです。 たずめ ここたでご玹介させおいただいたむベント以倖にも珟圚、スポンサヌの打蚺をさせおいただいおいるむベントがいく぀かありたすが、こちらも決定次第おしらせできればず考えおいたす。 メドレヌでは、技術や業界の発展に少しでも寄䞎できればずいう考えから、゚ンゞニア・デザむナヌの技術むベントなどにこれからも積極的に協賛させおいただくスタンスを取っおいたす。 党おのむベントに協賛できるわけではありたせんが、スポンサヌを探しおいるむベント運営者の方がいらっしゃいたしたら、䞀床お気軜にお問い合わせいただければず思いたすので、よろしくお願いしたす。 â–Œ メドレヌっおどんな䌚瀟気になった方はこちら メドレヌで働く | 株匏䌚瀟メドレヌ メドレヌの組織文化や募集芁項をご玹介したす www.medley.jp
こんにちは。開発本郚゚ンゞニアの平朚です。 メドレヌでは、技術や業界の発展に少しでも寄䞎できればずいう考えから、゚ンゞニア・デザむナヌの技術むベントなどに、積極的に協賛させおいただきたいず考えおいたす。7 月以降のむベントも積極的にスポンサヌドさせおいただきたすので、ぜひ皆様にもお越しいただきたく、この゚ントリではメドレヌが協賛するむベントの魅力をご玹介したす。 Developers Summit 2019 Summer 公匏サむト 2019/07/02(火) @゜ラシティカンファレンスセンタヌ ブロンズスポンサヌ 䞀番最初にご玹介するのは、ご存知 Developers Summit 2019 Summer(以降デブサミ倏)です。 本家である Developers Summit 2019 冬でも協賛させおいただきたしたが、今回のデブサミ倏ではブロンズスポンサヌずしお 執行圹員である田䞭 が SI × Web の総合力で切り拓く新しい゚ンゞニアのキャリアパス ずいうタむトルでお話したす。 ここ数幎で X-Tech や DX の必芁性が䞀気に叫ばれるようになっおきたしたが、メドレヌでも 医療におけるデゞタルトランスフォヌメヌションの掚進 を目指しお日々プロダクトの開発を進めおいたす。X-Tech や DX を掚進する䞊で、いわゆる「Web 系゚ンゞニア」ず「SI 系゚ンゞニア」ずいう垣根を越えた、ハむブリッドな新しい゚ンゞニア像が求められるようになっおきたず感じたす。「課題を解決するために必芁ずされるようになったハむブリットな胜力ずは?」「これからの゚ンゞニアはどう成長しおいくのがよいか?」ずいうこずをお話させおいただきたす。 おかげさたで、珟時点でセッションは満員になっおいたすが、ぜひご芧いただければ幞いです。 CloudNativeDays Tokyo 2019 / OpenStack Days Tokyo 2019 公匏サむト 2019/07/22(月) ~ 23(火) @虎ノ門ヒルズフォヌラム ノベルティスポンサヌ(トヌトバッグ) 今幎はむベントの統合もされ、名称も䞀新された日本最倧玚のコンテナ技術を始めずしたクラりドネむティブずオヌプンむンフラの祭兞である、こちらのむベントにも協賛させおいただきたす。 圓日䌚堎で配られるトヌトバッグに公匏ロゎず共にメドレヌのロゎを入れおいただきたした。実際にどんなデザむンになるかは圓日にご来堎しおいただくたでのお楜しみずさせおいただきたすが、ずおも良いものになっおいるかず思いたす。 builderscon tokyo 2019 公匏サむト 2019/08/29(朚) ~ 31(土) @東京電機倧孊(東京千䜏キャンパス)1 号通 バックパネルスポンサヌ 2016 幎から毎幎開催されおいる、色々な分野の゚ンゞニアの様々なセッションが䞀気に聞けるむベント「builderscon tokyo」ですが(去幎は電子名札バッゞがむンパクトありたしたね)、今幎は初めおスポンサヌずしお参加させおいただくこずになりたした。 䌚堎である東京電機倧孊千䜏キャンパスの郚屋の䞀぀、100 呚幎蚘念ホヌルでセッションするスピヌカヌさんの埌ろに蚭眮されるバックパネルのなかに、メドレヌのロゎが入るこずに。 こちらのむベントでは匊瀟゚ンゞニアもお邪魔する予定ですので、䌚堎でお気軜にお声がけしおいただければず思いたす。 CODE BLUE 2019 公匏サむト 2019/10/29(火) ~ 30(æ°Ž) @ベルサヌル枋谷ガヌデン ブロンズスポンサヌ 今幎で 7 回目の開催ずなる情報セキュリティの囜際䌚議「CODE BLUE 2019」に初めおスポンサヌをさせおいただいおいたす。 メドレヌでも取り扱っおいる情報の重芁性から、䌚瀟ずしおの取り組みで ISMS 認蚌 / ISMS クラりドセキュリティ認蚌を取埗 しおいたすが、このようなセキュリティに関するむベントにも業界の発展に少しでも寄䞎できればず今幎から協賛させおいただくこずになりたした。 DesginShip 2019 公匏サむト 2019/11/23(土 ) ~ 24(日) @東京囜際フォヌラム B7 ・ B5 シルバヌスポンサヌ 去幎から開催されおいるデザむンカンファレンス「DesignShip 2019」に、去幎から続きスポンサヌをさせおいただきたす。 今幎は䌚堎も東京囜際フォヌラムになるずいうこずで、メドレヌも去幎よりもさらにアクティブな圢でむベントに参加させおいただくこずになりそうです。 たずめ ここたでご玹介させおいただいたむベント以倖にも珟圚、スポンサヌの打蚺をさせおいただいおいるむベントがいく぀かありたすが、こちらも決定次第おしらせできればず考えおいたす。 メドレヌでは、技術や業界の発展に少しでも寄䞎できればずいう考えから、゚ンゞニア・デザむナヌの技術むベントなどにこれからも積極的に協賛させおいただくスタンスを取っおいたす。 党おのむベントに協賛できるわけではありたせんが、スポンサヌを探しおいるむベント運営者の方がいらっしゃいたしたら、䞀床お気軜にお問い合わせいただければず思いたすので、よろしくお願いしたす。 â–Œ メドレヌっおどんな䌚瀟気になった方はこちら メドレヌで働く | 株匏䌚瀟メドレヌ メドレヌの組織文化や募集芁項をご玹介したす www.medley.jp
こんにちは。開発本郚゚ンゞニアの平朚です。 メドレヌでは、技術や業界の発展に少しでも寄䞎できればずいう考えから、゚ンゞニア・デザむナヌの技術むベントなどに、積極的に協賛させおいただきたいず考えおいたす。7 月以降のむベントも積極的にスポンサヌドさせおいただきたすので、ぜひ皆様にもお越しいただきたく、この゚ントリではメドレヌが協賛するむベントの魅力をご玹介したす。 Developers Summit 2019 Summer 公匏サむト 2019/07/02(火) @゜ラシティカンファレンスセンタヌ ブロンズスポンサヌ 䞀番最初にご玹介するのは、ご存知 Developers Summit 2019 Summer(以降デブサミ倏)です。 本家である Developers Summit 2019 冬でも協賛させおいただきたしたが、今回のデブサミ倏ではブロンズスポンサヌずしお 執行圹員である田䞭 が SI × Web の総合力で切り拓く新しい゚ンゞニアのキャリアパス ずいうタむトルでお話したす。 ここ数幎で X-Tech や DX の必芁性が䞀気に叫ばれるようになっおきたしたが、メドレヌでも 医療におけるデゞタルトランスフォヌメヌションの掚進 を目指しお日々プロダクトの開発を進めおいたす。X-Tech や DX を掚進する䞊で、いわゆる「Web 系゚ンゞニア」ず「SI 系゚ンゞニア」ずいう垣根を越えた、ハむブリッドな新しい゚ンゞニア像が求められるようになっおきたず感じたす。「課題を解決するために必芁ずされるようになったハむブリットな胜力ずは?」「これからの゚ンゞニアはどう成長しおいくのがよいか?」ずいうこずをお話させおいただきたす。 おかげさたで、珟時点でセッションは満員になっおいたすが、ぜひご芧いただければ幞いです。 CloudNativeDays Tokyo 2019 / OpenStack Days Tokyo 2019 公匏サむト 2019/07/22(月) ~ 23(火) @虎ノ門ヒルズフォヌラム ノベルティスポンサヌ(トヌトバッグ) 今幎はむベントの統合もされ、名称も䞀新された日本最倧玚のコンテナ技術を始めずしたクラりドネむティブずオヌプンむンフラの祭兞である、こちらのむベントにも協賛させおいただきたす。 圓日䌚堎で配られるトヌトバッグに公匏ロゎず共にメドレヌのロゎを入れおいただきたした。実際にどんなデザむンになるかは圓日にご来堎しおいただくたでのお楜しみずさせおいただきたすが、ずおも良いものになっおいるかず思いたす。 builderscon tokyo 2019 公匏サむト 2019/08/29(朚) ~ 31(土) @東京電機倧孊(東京千䜏キャンパス)1 号通 バックパネルスポンサヌ 2016 幎から毎幎開催されおいる、色々な分野の゚ンゞニアの様々なセッションが䞀気に聞けるむベント「builderscon tokyo」ですが(去幎は電子名札バッゞがむンパクトありたしたね)、今幎は初めおスポンサヌずしお参加させおいただくこずになりたした。 䌚堎である東京電機倧孊千䜏キャンパスの郚屋の䞀぀、100 呚幎蚘念ホヌルでセッションするスピヌカヌさんの埌ろに蚭眮されるバックパネルのなかに、メドレヌのロゎが入るこずに。 こちらのむベントでは匊瀟゚ンゞニアもお邪魔する予定ですので、䌚堎でお気軜にお声がけしおいただければず思いたす。 CODE BLUE 2019 公匏サむト 2019/10/29(火) ~ 30(æ°Ž) @ベルサヌル枋谷ガヌデン ブロンズスポンサヌ 今幎で 7 回目の開催ずなる情報セキュリティの囜際䌚議「CODE BLUE 2019」に初めおスポンサヌをさせおいただいおいたす。 メドレヌでも取り扱っおいる情報の重芁性から、䌚瀟ずしおの取り組みで ISMS 認蚌 / ISMS クラりドセキュリティ認蚌を取埗 しおいたすが、このようなセキュリティに関するむベントにも業界の発展に少しでも寄䞎できればず今幎から協賛させおいただくこずになりたした。 DesginShip 2019 公匏サむト 2019/11/23(土 ) ~ 24(日) @東京囜際フォヌラム B7 ・ B5 シルバヌスポンサヌ 去幎から開催されおいるデザむンカンファレンス「DesignShip 2019」に、去幎から続きスポンサヌをさせおいただきたす。 今幎は䌚堎も東京囜際フォヌラムになるずいうこずで、メドレヌも去幎よりもさらにアクティブな圢でむベントに参加させおいただくこずになりそうです。 たずめ ここたでご玹介させおいただいたむベント以倖にも珟圚、スポンサヌの打蚺をさせおいただいおいるむベントがいく぀かありたすが、こちらも決定次第おしらせできればず考えおいたす。 メドレヌでは、技術や業界の発展に少しでも寄䞎できればずいう考えから、゚ンゞニア・デザむナヌの技術むベントなどにこれからも積極的に協賛させおいただくスタンスを取っおいたす。 党おのむベントに協賛できるわけではありたせんが、スポンサヌを探しおいるむベント運営者の方がいらっしゃいたしたら、䞀床お気軜にお問い合わせいただければず思いたすので、よろしくお願いしたす。 â–Œ メドレヌっおどんな䌚瀟気になった方はこちら メドレヌで働く | 株匏䌚瀟メドレヌ メドレヌの組織文化や募集芁項をご玹介したす www.medley.jp
こんにちは。開発本郚゚ンゞニアの平朚です。 メドレヌでは、技術や業界の発展に少しでも寄䞎できればずいう考えから、゚ンゞニア・デザむナヌの技術むベントなどに、積極的に協賛させおいただきたいず考えおいたす。7 月以降のむベントも積極的にスポンサヌドさせおいただきたすので、ぜひ皆様にもお越しいただきたく、この゚ントリではメドレヌが協賛するむベントの魅力をご玹介したす。 Developers Summit 2019 Summer 公匏サむト 2019/07/02(火) @゜ラシティカンファレンスセンタヌ ブロンズスポンサヌ 䞀番最初にご玹介するのは、ご存知 Developers Summit 2019 Summer(以降デブサミ倏)です。 本家である Developers Summit 2019 冬でも協賛させおいただきたしたが、今回のデブサミ倏ではブロンズスポンサヌずしお 執行圹員である田䞭 が SI × Web の総合力で切り拓く新しい゚ンゞニアのキャリアパス ずいうタむトルでお話したす。 ここ数幎で X-Tech や DX の必芁性が䞀気に叫ばれるようになっおきたしたが、メドレヌでも 医療におけるデゞタルトランスフォヌメヌションの掚進 を目指しお日々プロダクトの開発を進めおいたす。X-Tech や DX を掚進する䞊で、いわゆる「Web 系゚ンゞニア」ず「SI 系゚ンゞニア」ずいう垣根を越えた、ハむブリッドな新しい゚ンゞニア像が求められるようになっおきたず感じたす。「課題を解決するために必芁ずされるようになったハむブリットな胜力ずは?」「これからの゚ンゞニアはどう成長しおいくのがよいか?」ずいうこずをお話させおいただきたす。 おかげさたで、珟時点でセッションは満員になっおいたすが、ぜひご芧いただければ幞いです。 CloudNativeDays Tokyo 2019 / OpenStack Days Tokyo 2019 公匏サむト 2019/07/22(月) ~ 23(火) @虎ノ門ヒルズフォヌラム ノベルティスポンサヌ(トヌトバッグ) 今幎はむベントの統合もされ、名称も䞀新された日本最倧玚のコンテナ技術を始めずしたクラりドネむティブずオヌプンむンフラの祭兞である、こちらのむベントにも協賛させおいただきたす。 圓日䌚堎で配られるトヌトバッグに公匏ロゎず共にメドレヌのロゎを入れおいただきたした。実際にどんなデザむンになるかは圓日にご来堎しおいただくたでのお楜しみずさせおいただきたすが、ずおも良いものになっおいるかず思いたす。 builderscon tokyo 2019 公匏サむト 2019/08/29(朚) ~ 31(土) @東京電機倧孊(東京千䜏キャンパス)1 号通 バックパネルスポンサヌ 2016 幎から毎幎開催されおいる、色々な分野の゚ンゞニアの様々なセッションが䞀気に聞けるむベント「builderscon tokyo」ですが(去幎は電子名札バッゞがむンパクトありたしたね)、今幎は初めおスポンサヌずしお参加させおいただくこずになりたした。 䌚堎である東京電機倧孊千䜏キャンパスの郚屋の䞀぀、100 呚幎蚘念ホヌルでセッションするスピヌカヌさんの埌ろに蚭眮されるバックパネルのなかに、メドレヌのロゎが入るこずに。 こちらのむベントでは匊瀟゚ンゞニアもお邪魔する予定ですので、䌚堎でお気軜にお声がけしおいただければず思いたす。 CODE BLUE 2019 公匏サむト 2019/10/29(火) ~ 30(æ°Ž) @ベルサヌル枋谷ガヌデン ブロンズスポンサヌ 今幎で 7 回目の開催ずなる情報セキュリティの囜際䌚議「CODE BLUE 2019」に初めおスポンサヌをさせおいただいおいたす。 メドレヌでも取り扱っおいる情報の重芁性から、䌚瀟ずしおの取り組みで ISMS 認蚌 / ISMS クラりドセキュリティ認蚌を取埗 しおいたすが、このようなセキュリティに関するむベントにも業界の発展に少しでも寄䞎できればず今幎から協賛させおいただくこずになりたした。 DesginShip 2019 公匏サむト 2019/11/23(土 ) ~ 24(日) @東京囜際フォヌラム B7 ・ B5 シルバヌスポンサヌ 去幎から開催されおいるデザむンカンファレンス「DesignShip 2019」に、去幎から続きスポンサヌをさせおいただきたす。 今幎は䌚堎も東京囜際フォヌラムになるずいうこずで、メドレヌも去幎よりもさらにアクティブな圢でむベントに参加させおいただくこずになりそうです。 たずめ ここたでご玹介させおいただいたむベント以倖にも珟圚、スポンサヌの打蚺をさせおいただいおいるむベントがいく぀かありたすが、こちらも決定次第おしらせできればず考えおいたす。 メドレヌでは、技術や業界の発展に少しでも寄䞎できればずいう考えから、゚ンゞニア・デザむナヌの技術むベントなどにこれからも積極的に協賛させおいただくスタンスを取っおいたす。 党おのむベントに協賛できるわけではありたせんが、スポンサヌを探しおいるむベント運営者の方がいらっしゃいたしたら、䞀床お気軜にお問い合わせいただければず思いたすので、よろしくお願いしたす。 â–Œ メドレヌっおどんな䌚瀟気になった方はこちら メドレヌで働く | 株匏䌚瀟メドレヌ メドレヌの組織文化や募集芁項をご玹介したす www.medley.jp