BEGIN:VCALENDAR VERSION:2.0 PRODID:-//https://techplay.jp//JP CALSCALE:GREGORIAN METHOD:PUBLISH X-WR-CALDESC:Data Engineering Study #4「データ分析基盤の障害対 応事例LT祭り」 X-WR-CALNAME:Data Engineering Study #4「データ分析基盤の障害対 応事例LT祭り」 X-WR-TIMEZONE:Asia/Tokyo BEGIN:VTIMEZONE TZID:Asia/Tokyo BEGIN:STANDARD DTSTART:19700101T000000 TZOFFSETFROM:+0900 TZOFFSETTO:+0900 TZNAME:JST END:STANDARD END:VTIMEZONE BEGIN:VEVENT UID:793398@techplay.jp SUMMARY:Data Engineering Study #4「データ分析基盤の障害対応事 例LT祭り」 DTSTART;TZID=Asia/Tokyo:20201104T193000 DTEND;TZID=Asia/Tokyo:20201104T215500 DTSTAMP:20260425T070548Z CREATED:20200916T141941Z DESCRIPTION:イベント詳細はこちら\nhttps://techplay.jp/event/79339 8?utm_medium=referral&utm_source=ics&utm_campaign=ics\n\n本イベント は、Infra Study Meetup を運営する Forkwell と、分析基盤向 けデータ統合SaaS「trocco」の開発・運営を行う primeNumber による共催イベントです。データ分析に精通した講師 をお招きし、データ分析基盤の「これまで」と「これ から」を学ぶことを趣旨として開催いたします。\n開 催内容\n概要\n本イベントでは、ゆずたそ氏（@yuzutas0） にモデレーターを依頼し、複数回にわたって、各回テ ーマに沿った内容で各分野でご活躍されているエンジ ニア／研究者に講演いただきます。\nまた、講演後に は視聴者の方も参加できる二次会会場(Zoom)を用意して います。登壇者と共にデータエンジニアリングに関す る学びを深めましょう。\n開催背景\nForkwell からのコメ ント\n\n本イベントは、Infra Study Meetup に注目していた だいた primeNumber さまからのお声がけで実現したイベン トです。Infra Study Meetup とは主催する団体、扱うテーマ が異なることから、別シリーズとして立ち上げました 。Infra Study 参加者と共に得たイベントノウハウを継承 し、データ分析領域でも学びの場を作ります。\n本家 I nfra Study にご参加いただいた方はもちろん、データ分 析に関心のある方ならどなたでも参加可能です。エン ジニアリングと密接に関わるデータ分析領域について 楽しく学んでいただけましたら幸いです。\nForkwell 事 業責任者 赤川\n\nprimeNumber からのコメント\n\n弊社はデ ータ分析基盤向けの総合支援サービス「trocco」を運営 しているのですが、その中で「どういう分析基盤を作 っていけばいいのか？」というご質問をよく伺います 。そのような方向けに何か有益な情報をご提供できる 場はないかと考えた時に、本イベントの開催を思いつ きました。\nそんなタイミングで、「Infra Study Meetup」 という反響が大きいイベントがあるのを見つけ、「デ ータ分析基盤」版を作りませんかとお声がけした所か ら開催に至りました。\nこれから分析基盤を作ろうと されている方や、現在運用中の基盤の改善アイデアを 探している方に、有益な場に出来ればと思っておりま す。\nprimeNumber 取締役執行役員CPO 小林寛和\n\nこんなエ ンジニアにおすすめ\n\nデータ分析に関わる事例を知り たい方\n自社内にデータ分析基盤を作ろうと検討中の 方\n自社のデータ分析基盤をより効率的にしたいと考 えている方\nデータ分析領域に幅を広げてみたいソフ トウェアエンジニア・インフラエンジニア\n\nプログラ ム第4回「データ分析基盤の障害対応事例LT祭り」\n第3 回までの勉強会で、データ分析基盤の作り方や組織へ の浸透させる方法について学んできました。\nこの「 データ分析基盤」は1つのシステムですので、障害対応 とは切っても切れない関係です。\n今回は障害対応を テーマに事例LTを集めることで、これから分析基盤を 作ろうとしている方が同じ失敗をしないように、また 既に同じ様な障害を経験されている方の再発防止に役 立てるようになれればと思っています。\nLT1「正確な 意思決定を阻む問題・障害との向き合い方」 \n 　吉田 康久 氏（@syou6162 / @syou6162）\n株式会社はてな Mackerelチ ーム\nCustomer Reliability Engineer\n\n◼発表内容について\nデ ータ分析でありがちな問題・障害とその対策について 話します\n1: RDBMSのようにデータ投入時に制約が入れら れないデータストア(SFDCやスプレッドシートなど)でユ ニーク制約を満たせなかったために、集計で差異が出 てしまった例\n2: データマートに最近利用されていな いようなテーブルやビューが氾濫した結果、目的に適 さないデータを元に意思決定されてしまった例\n\nLT2「 データ分析基盤の障害を未然に防ぐためのチェックリ スト」 \n 　田中 聡太郎 氏（@sotaron\n）\nユビー株式会 社\nデータエンジニア\n\n◼発表内容について\nTo be annou nced...\n\nLT3「IoTデバイスデータ収集の難しい点」 (10分) \n 　渡部 徹太郎 氏（@fetarodc）\nMobility Technologies デー タエンジニア\n「ビッグデータ分析のシステムと開発 がこれ1冊でしっかりわかる教科書」著者\n\n◼発表内 容について\nMobility Technologiesではタクシーに取り付け たデバイスのデータを収集していますが、Webとは違うI oTならではの問題や障害を経験しました。それを紹介 します。\n\nLT4「障害、解決、その先に」 \n 　岩崎晃 氏（@sista05）\nフリーランスエンジニア\n主業務はデー タ分析基盤構築\n\n◼発表内容について\nデータ基盤で よく使われる構成において私がよく遭遇した障害と、 最新の技術で対応した事例集を紹介します。\n\n\nログ 収集サーバでログ転送が滞ってしまいがちな構成とそ の対応事例\n\n\nワークフローエンジンで大容量のデー タを転送する際に発生した障害とその対応事例\n\n\nセ ンシティブデータを取り扱う際の低コスト高パフォー マンスな対応事例\n\n\n\nLT5「障害はチャンスだ！ 障害 を前向きに捉える」 \n 　山田 雄 氏（@nii_yan）\n株式会 社リクルート\nデータエンジニア\n\n◼発表内容につい て\n障害は起きないほうがよいですが、起きてしまっ たらどう対応するのが良いのか？\nまた、障害対応の 仕方によって得られる知見もあります。　どう障害対 応を前向きに捉えるかを紹介します。\n\nLT6「バッチと ストリーミング、それぞれの障害に立ち向かう」 \n 　 大久保諒 氏（@syu_cream\n）\n株式会社メルカリ\nデータ エンジニア\n\n◼発表内容について\nバッチ処理とスト リーミング処理にそれぞれ別のアプローチを採用する ことは多くないと思います。しかし複数のアプローチ 、技術スタックを持つことはより多くの障害パターン の可能性を広げることにもなります。本発表ではメル カリ・メルペイで運\n用してきたバッチ・ストリーミ ングデータパイプラインで生じたいくつかの障害や課 題の事例と、どう乗り越えて来たかについて紹介いた します。\n\nタイムスケジュール（目安）\n\n\n\n時間\n 内容\n\n\n\n\n19:30〜\n司会より挨拶（10分）\n\n\n19:40〜\nLT 1（10分）吉田康久氏「正確な意思決定を阻む問題・障 害との向き合い方」\n\n\n19:50〜\n質疑応答（5分）\n\n\n19 :55〜\nLT2（10分）田中 聡太郎氏「データ分析基盤の障 害を未然に防ぐためのチェックリスト」\n\n\n20:05〜\n質 疑応答（5分）\n\n\n20:10〜\nスポンサーLT1（5分）Forkwell 重本 湧気\n\n\n20:15〜\n休憩（5分）\n\n\n20:20〜\nLT3（10分 ）渡部氏「IoTデバイスデータ収集の難しい点」\n\n\n20:3 0〜\n質疑応答（5分）\n\n\n20:35〜\nLT4（10分）岩崎晃氏「 障害、解決、その先に」\n\n\n20:45〜\n質疑応答（5分）\n \n\n20:50〜\nスポンサーLT2（5分）primeNumber 小林 寛和\n\n\n 20:55〜\n休憩（5分）\n\n\n21:00〜\nLT5（10分）山田 雄氏「 障害はチャンスだ！ 障害を前向きに捉える」\n\n\n21:10 〜\n質疑応答（5分）\n\n\n21:15〜\nLT6（10分）大久保諒氏 「バッチとストリーミング、それぞれの障害に立ち向 かう」\n\n\n21:25〜\n質疑応答（5分）\n\n\n21:30〜\nアフタ ートーク（15分~）\n\n\n21:45\n完全終了\n\n\n\n※ タイムス ケジュールは目安です。完全解散21:45までの間で、よ り参加者にご満足いただける形で各コンテンツ時間が 調整される場合がございます。\n※ プログラムは変更 となる可能性があります。随時こちらで更新いたしま す。 \nこれまでの勉強会で扱うテーマとアーカイブ動 画\n\n7/15（水）｜第1回「モダンなDWH/BIツールの選び方 と、実際の運用事例」 \n8/19（水）｜第2回「データ収 集基盤とデータ整備のこれまでとこれから」 \n9/16（水 ）｜第3回「分析基盤をうまく組織に浸透させる方法」 \n11/04（水）｜第4回「データ分析基盤の障害対応事例LT 祭り」\n\n参加方法\n今回のオンライン勉強会は YouTube L ive を使用してライブ配信いたします。\nまた、コメン トや感想は Twitter、講演内容に関する質問は Slido へお 願いいたします。\n下記、各種URLよりご参加ください ませ！\n▍イベント視聴用 YouTube Live URL\n- https://youtu.be/ 8ap-V7kfv5M\n▍質疑応答用 Slido URL\n- https://sli.do/DataEngineeri ngStudy\n▍Tweetリンク\n- https://twitter.com/intent/tweet?hashtags=D ataEngineeringStudy\nライブ配信終了後、アーカイブ動画の 公開を予定しております。\n当日の開催時間にライブ 参加できない方も、こちらのページより参加申込みの 上、アーカイブ動画をご視聴いただけます。\nなお、Tw itterタイムラインと連動したリアルタイムなイベント 参加体験を重視するため、YouTube Liveの追いかけ再生は できない設定となりますこと、ご了承くださいませ。\ n配信中のプログラムからの視聴、あるいはライブ配信 終了数時間後から再生可能になるアーカイブ動画をご 視聴ください。\n留意事項\n\nForkwell、primeNumber の宣伝 をさせていただく時間がございます。予めご了承くだ さい。\nIT技術者の方を対象としたイベントのため、非 エンジニアの方のご参加、ならびに同業に属する方の 当イベント内でのリクルーティング活動につきまして ご遠慮いただいております。\nイベントの風景を、Forkw ellメディア上の記事（イベントレポート）に掲載する ことがございます。掲載を希望されない方は、当日Zoom チャットまたはイベントページ問い合わせフォームよ り、掲載希望されない旨をお伝えください。\nイベン ト参加時にご入力いただいた情報は、次のプライバシ ーポリシーに基づき、primeNumber のみで適切に扱います 。 https://primenumber.co.jp/privacy/\n\nまた、ご参加者の方々 が最大限楽しんで頂けるよう、運営サイドで参加にふ さわしくないと判断させて頂いた方については、イベ ント中であろうとご退席をお願いすることがございま す。\n\n保険、宗教、ネットワークビジネスの勧誘が目 的と見られる方\nその他運営サイドで参加が不適切だ と判断した方\n誠に恐れ入りますが、あらかじめご了 承くださいませ。\n\n主催・協力\n主催／コミュニティ 支援協賛\n「成長し続けるエンジニアを支援する」サ ービスを運営する Forkwell \n\n\n\n\n\n分析基盤向けデータ 統合SaaS「trocco」の開発・運営を行う primeNumber \n\n\n\n\n 後援\n\n天神放送局様にライブ配信代行として協力いた だいております。\n天神放送局はライブ配信を広める ことで「機会格差をなくす」ことをミッションとした ライブ配信ユニットです。\nコミュニティイベントが 増え続ける中、コンテンツを熱意ある人に届けるため に活動しています。\n\n\n\n\n\n\nソニー株式会社様にコ ミュニティ運営費用を協力いただいております。\n\n\n\ n\n LOCATION:YouTube Live｜Data Engineering Study #4 オンライン URL:https://techplay.jp/event/793398?utm_medium=referral&utm_source=ics&utm _campaign=ics END:VEVENT END:VCALENDAR