BEGIN:VCALENDAR VERSION:2.0 PRODID:-//https://techplay.jp//JP CALSCALE:GREGORIAN METHOD:PUBLISH X-WR-CALDESC:セミナー: 機械学習デザインパターン X-WR-CALNAME:セミナー: 機械学習デザインパターン X-WR-TIMEZONE:Asia/Tokyo BEGIN:VTIMEZONE TZID:Asia/Tokyo BEGIN:STANDARD DTSTART:19700101T000000 TZOFFSETFROM:+0900 TZOFFSETTO:+0900 TZNAME:JST END:STANDARD END:VTIMEZONE BEGIN:VEVENT UID:811055@techplay.jp SUMMARY:セミナー: 機械学習デザインパターン DTSTART;TZID=Asia/Tokyo:20210330T183000 DTEND;TZID=Asia/Tokyo:20210330T203000 DTSTAMP:20260407T192005Z CREATED:20210309T211913Z DESCRIPTION:イベント詳細はこちら\nhttps://techplay.jp/event/81105 5?utm_medium=referral&utm_source=ics&utm_campaign=ics\n\nセミナー: 機械学習デザインパターン\n2021年3月30日(火)18:30-20:30 オンライン\nアンケート: ぜひこちらへ4月6日までにご 回答ください。https://forms.gle/kyX2qDV3THabTLQdA\n機械学習の 社会応用が急速に進展することに伴い、実務家や研究 者において機械学習モデルや機械学習システム全体の 良い設計の指針の整理と共有が求められています。本 セミナーでは、背景として機械学習工学および機械学 習システムの開発プロセスを概観したうえで、講演者 らが調査により整理した15の機械学習応用のためのソ フトウェアエンジニアリングパターン（Software Engineerin g Patterns for Machine Learning）、および、Lakshmananらが整理 体系化した30の機械学習デザインパターン（Machine Learni ng Design Patterns）を解説します。\nZoomオンライン開催・ 参加無料です。ぜひご参加ください。\n主催\n\nenPiT-Pro スマートエスイー\, スマートエスイーコンソーシアム\ neAI 機械学習を用いたシステムの高品質化・実用化を 加速する"Engineerable AI"技術の開発（予定）\n\n協力・協 賛\n\n日本ソフトウェア科学会 機械学習工学研究会(MLSE )\n早稲田大学グローバルソフトウェアエンジニアリン グ研究所\n\n概要\n\n日時: 2021年3月30日（火）18:30-20:30\n 場所: オンライン Zoom\n参加費: 無料\n講演者: 吉岡信和 （国立情報学研究所）、竹内広宜（武蔵大学）、鷲崎 弘宜（早稲田大学）（eAIプロセス・パターンチーム） ほか\n参加申込: 本connpassページからお申し込みくださ い\n\nプログラム\n18:30-18:45 機械学習工学とプロセスの 概要\n吉岡 信和（国立情報学研究所）\n機械学習デザ インパターンの背景として、機械学習工学および機械 学習システムの開発プロセスを概観します。\n18:45-19:00 機械学習応用のためのソフトウェアエンジニアリング パターン（SE Patterns for ML）の概要ほか\n竹内広宜（武 蔵大学）\n講演者らはJST未来社会”Engineerable AI”（eAI ）プロジェクトにおいて、学術文献および灰色文献の 体系的調査により、ソフトウェアエンジニアリングの 観点からの機械学習応用システムおよびソフトウェア の設計における代表的なデザインパターン（一部 IWESEP 、AsianPLoP、PLoP）を特定し、整理を進めています。本講 演では以下のパターン群の全体像ならびにモデリング 等について解説します。\n\n\n\nパターン名\n問題\n解決\ n\n\n\n\nParameter-Server Abstraction\n分散学習では、広く受け 入れられている抽象化が不足\nデータとワークロード の両方をワーカーノードに分散し、サーバーノードは グローバルに共有されたパラメータを保持\n\n\nData flows up\, Model flow down (Federated Learning)\n標準的な機械学習ア プローチでは、訓練データを1台のマシンまたはデータ センターに集中管理する必要あり\nすべての訓練デー タをデバイスに保持したまま、モバイルデバイスがク ラウド上で共有モデルを共同訓練\n\n\nSecure Aggregation\n システムは、モデルの更新を安全、効率的、スケーラ ブル、フォールトトレラントな方法で通信し、集約す る必要あり\n連合学習で各モバイル端末のデータを暗 号化し、個別の精査なしに集計・平均値を算出\n\n\nDiff erent Workloads in Different Computing Environments\nMLデータのワー クロードを分離して素早く変更し、訓練ワークロード を安定化させる必要があり\n異なるワークロードを異 なるマシンに物理的に分離、マシン構成とネットワー ク使用量を最適化\n\n\nData Lake for ML\nデータに対する分 析方法や利用フレームワークを予想困難\n構造化・非 構造化のいずれも可能な限り生データをストレージ保 存\n\n\nDistinguish Business Logic from ML Model\n全体的なビジネ ス・ロジックは他に影響を与えず変更できるようMLモ デルから分離の必要あり\nビジネス・ロジックと推論 エンジンを分離し、ビジネス・ロジックとML固有のデ ータフローを疎結合\n\n\nMicroservice Architecture for ML\n既知 のMLフレームワークに限定され、より適切なフレーム ワークの機会を逃してしまう可能性\n一貫性のある入 力・出力データ定義、MLフレームワークで使用するた めの明確に定義されたサービス提供\n\n\nML Gateway Routing Architecture\nクライアントが複数のサービスを利用する 場合、サービスごとに個別のエンドポイント設定管理 困難\nゲートウェイをインストールし、適切なインス タンスへのアプリケーション層のルーティング要求を 使用\n\n\nLambda Architecture\nリアルタイムデータ処理にお けるスケーラビリティ、耐障害性、予測可能性と拡張 性の困難さ\nバッチレイヤーはビューを生成し続け、 スピードレイヤーはリアルタイム/スピードビューを生 成、サービングレイヤは両方に問い合わせ\n\n\nKappa Arch itecture\n少ないコードリソースで膨大なデータを扱う必 要\n単一のストリーム処理エンジンでリアルタイムデ ータ処理と連続的な再処理の両方をサポート\n\n\nSeparat ion of Concerns and Modularization of ML Components\nMLコンポーネン トの定期的かつ頻繁な変更に対応必要\n最も単純なも のから最も複雑なものまで、複雑さの異なるレベルで 分離\n\n\nDiscard PoC Code\nPoCのために作成したコードでは 、試行錯誤を効率的に実施するため保守性犠牲\nPoCの ために作成したコードは破棄し、PoCで得た知見に基づ き保守性の高いコードを再構築する\n\n\nML Versioning\nML モデルとその異なるバージョンは、MLアプリケーショ ン全体の挙動を変える可能性あり\nMLモデル構造、デー タ、システム、解析コードを記録し、再現性のある学 習・推論\n\n\nEncapsulate ML models within Rule-based Safeguards\n機 械学習モデルは、不安定で敵対者攻撃に弱く、データ のノイズやドリフトの影響を受けやすい\nMLモデルの予 測結果に内在する不確実性を、決定論的で検証可能な ルールでカプセル化して対処\n\n\nDeployable Canary Model\nML モデルの説明性が低いため、振る舞いを近似する代理M Lモデルを得たい\n説明可能な推論パイプラインを一次 推論パイプラインと並行して実行し、予測の違いを監 視\n\n\n\n19:00-19:05 質疑\n19:05-20:15 機械学習デザインパタ ーン（ML Design Patterns）の解説\n鷲崎 弘宜 (早稲田大学 / NII / システム情報 / エクスモーション)\nLakshmananらが 機械学習のモデルおよびシステムの設計と実装・運用 における典型的なパターンを整理体系化した30の機械 学習デザインパターン（Machine Learning Design Patterns）の 全体像および主要なパターン群を詳しく解説します。 以下のパターン群が、データ表現、問題表現、モデル 訓練、レジリエントサービング、再現性、責任・説明 性の6つのカテゴリに分かれています。\n（出典: Valliapp a Lakshmanan\, Sara Robinson\, Michael Munn\, "Machine Learning Design Pa tterns: Solutions to Common Challenges in Data Preparation\, Model Buildi ng\, and Mlops"\, Oreilly & Associates Inc\, 2020.）\n\n\n\nパターン 名\n問題（講演者による簡易要約）\n解決 （講演者に よる簡易要約）\n\n\n\n\nHashed Feature\nカテゴリー変数に ついてとりうる種類を特定困難。One-hot encodingではCold-S tart問題\nユニークな文字列としたうえでハッシュ値に 変換\n\n\nEmbeddings\nOne-hot encodingではデータの近さを扱え ない\n意味的な近さを表すように特徴の埋め込み。例 えばテキストの分散表現、画像の畳み込み。\n\n\nFeature Cross\nもともとの変数群そのままでは関係に基づく分 類や予測が困難\n複数のカテゴリー変数の組み合わせ で関係を容易に表現\n\n\nMultimodal Input\n異なる種別の入 力を扱いにくい\n分散表現の結合や高密度化\n\n\nReframin g\n当初の目的変数や出力形式では限界\n問題を回帰か ら分類へ変更（逆も）\n\n\nMultilabel\n出力層の活性化がs oftmax列では複数ラベル困難\n出力をsigmoid列\n\n\nEnsembles\ nバイアスとバリアンスのトレードオフ\nアンサンブル 学習（バギング、ブースティングほか）\n\n\nCascade\n通 常と特殊を同一モデルで扱い困難\n通常と特殊に分類 のうえそれぞれに訓練・予測し集約\n\n\nNeutral Class\nデ ータに主観評価を含むなどにより任意・ランダム性\nYe s\, NoにMaybeを加えた分類とする\n\n\nRebalancing\nデータセ ットが不均衡\nAccuracy以外評価。ダウン・アップサンプ リング、reframing。\n\n\nUseful Overfitting\n物理シミュレー ションのように全入力を扱える\n過学習で良い。実際 にはモンテカルロ法でサンプリングなど\n\n\nCheckpoints\n 複雑なモデルは訓練に時間を要する\n訓練モデル外の 情報も含めて全ての状態をエポック単位で保存・再開\ n\n\nTransfer Learning\n非構造データの訓練には巨大データ が必要\n同種データで訓練済みのモデルによる転移学 習、ファインチューニング\n\n\nDistribution Strategy\n深層 学習モデルの訓練に長時間\nデータ並列化、モデル並 列化による分散学習\n\n\nHyperparameter Tuning\nハイパーパ ラメータの人手チューニングは長時間で不正確\n外側 の最適化ループとしてのハイパーパラメータチューニ ング\n\n\nStateless Serving Function\nモデルの巨大化。訓練時 と稼働時の環境相違\n数式コアのみのエキスポート、 状態無し関数RESTful APIとしてデプロイ\n\n\nBatch Serving\n 非同期の予測を数多く実施困難\n分散処理環境下で大 量データによる非同期予測\n\n\nContinued Model Evaluation\nコ ンセプトドリフト、データドリフト\n継続的なモデル 評価・モニタリングと再訓練\n\n\nTwo-Phase Predictions\nエ ッジデバイスへデプロイする縮退した訓練モデルの性 能低下\n単純なタスク用のモデルをエッジ、複雑なも のをクラウド上で稼働\n\n\nKeyed Predictions\n多数の入力デ ータをスケーラブルに扱えない\n各入力へキーを付加 し、キー付きで出力\n\n\nTransform\n入力とフィーチャの 異なり\n変換・前処理で訓練・予測時一貫\n\n\nRepeatable Splitting\nランダムな訓練、検証、テスト用分割では再 現困難かつ関係なし\n時間的関係を用いたい変数をハ ッシュ化し剰余によりデータ分割\n\n\nBridged Schema\n入力 データのスキーマが訓練後に幾らか変更\n古いデータ を確率的な方法で新データスキーマへ変換\n\n\nWindowed I nference\n単独の入力データで推論不十分\nスライディン グウィンドウで訓練\n\n\nWorkflow Pipeline\n単一ファイルで はスケールせず\n各ステップを分けてサービス化\n\n\nFe ature Store\nアドホックなフィーチャエンジニアリング\n プロジェクトやチームを超えたフィーチャ共有\n\n\nMode l Versioning\nモデル更新時の後方互換性困難\nモデルバー ジョンを異なるエンドポイント提供、比較\n\n\nHeuristic Benchmark\n結果の良し悪しの程度を意思決定者へ説明困 難\n過去との比較や経験則に基づく決め\n\n\nExplainable Pr edictions\n予測の説明困難\nシンプルなモデル採用、予測 結果における説明など\n\n\nFairness Lens\n不均衡データに 基づく異なる人々のグループに対する問題のあるバイ アス\n（What-If toolやFairness Indicatorsなどによる）訓練前 のデータセットの分析、均衡化\n\n\n\n20:15-20:30 質疑、 アンケート調査のお願い LOCATION:オンライン オンライン URL:https://techplay.jp/event/811055?utm_medium=referral&utm_source=ics&utm _campaign=ics END:VEVENT END:VCALENDAR