第４回機械学習工学ワークショップ（MLSE夏合宿2021）

本年はオンラインで開催します。 いくつかのオンライン会議ツールの使用が必須となっていますので、参加要件をよくお読みください。

ワークショップ開催概要

日程

2021年7月1日（木）10:00 ～3日（土）16:30

申込締切は 6月25日（金）23:30 となります。締切までに申込をお願いします。

参加募集

以下の要領で参加者を募集します。

参加要件

1. 会期中を通じて以下のツールが使用可能であること。
   • Discord
     • あらかじめアカウント作成の上、参加申し込み時にアカウントを申請ください。
       • アカウントは、Discord画面の左下にアイコンと共に表示されています。
       • 下記画像の例だと たろう#1234 がアカウントです。
       • 
   • Zoom
     • アカウントの作成は要りませんが、当日参加の環境でZoomでの会議に参加できるようにしておいてください。
2. 会期中、昼夜通じて合宿に参加できること
   • バーチャルではありますが合宿です。なるべく普段の業務や家庭から離れて合宿のセッションに集中できるようお取り計らいください。

参加費

• 一般（JSSST会員）: 3,000円
• 一般（JSSST非会員）: 5,000円
• 学生（会員／非会員問わず）: 無料

参加費は参加申し込み時にPaypalで支払いをお願いします。
参加費は 消費税込み の価格です。
会計処理上の事情により、請求書の発行・領収書の分割等には、対応はできません。

プログラム概要

1日目 (7月1日)

2日目 (7月2日)

※ KS は企画セッションです。

3日目 (7月3日)

※ KS は企画セッションです。

※ 時間は変更になる可能性があります。

プログラム内容

基調講演

【講演者】 馬 雷（アルバータ大学 准教授／カナダ CIFAR AI チェア）

【タイトル】 データ駆動型複雑な知能システムの時代における品質保証について/Quality Assurance in the era of Data-driven Complex Intelligent Systems

【講演概要】 機械学習（ML: Machine Learning）システムは、ここ数年の間で実世界での応用において大きな進歩を遂げており、画像認識、音声アシスタント（AlexやSiriなど）、アートデザイン、自律走行車、医療診断タスクなど、最先端技術の実用化を可能にしています。その一方で、現在の機械学習のシステム開発においては、品質、セキュリティ、信頼性の保証基準の採用や、利用可能な成熟したツールチェーンのサポートに関して、体系的なエンジニアリングガイダンスがまだ不足しています。従来のソフトウェアとは異なり、データ駆動型で不確実性が高い機械学習の性質は、品質保証に新たな課題をもたらします。実際には、機械学習モデルは単独では使用されないことが多く、他の機械学習モデルや従来のソフトウェアコンポーネントと連携して、複雑な機械学習システムを形成しています。そのため、ユニットレベル、統合レベル、システムレベルなど、さまざまなレベルでの品質保証が必要となります。 本研究では、安全・安心・信頼性の高い機械学習システムを実現するために、機械学習システムの開発ライフサイクル（MLOps）全体を、特にテスト・解析・デバッグ・修復の観点から検討し、汎用的な機械学習システムの品質保証における現状の課題を解決します。本講演では、この方向に沿った過去数年間の私たちのチームの取り組みの概要を説明するとともに、すでに実際に採用されているいくつかの具体的なイノベーションを紹介します。さらに、安全、安心、信頼性の高いMLシステムを構築するための基礎を築くための今後の課題についても説明します。 プロフィール：近年、機械学習・深層学習の発展によって、機械学習を利用するシステムが急速に社会に広がってきていますが、開発・テスト・運用の方法論はまだ確立できていません。さまざまな手法が提案されていますが、まだ普及段階にありません。今まで、ソフトウェア工学や品質保証について長年研究してきた、現在特に未来知能社会を向け機械学習工学のための品質保証の中心にソリューションと取り組んでいる.

【プロフィール】 アルバータ大学マシンインテリジェンス研究所に所属しカナダ CIFAR AIチェアとしてAI研究に従事するとともに、九州大学システム情報科学研究院情報知能工学専攻 フェローとして、高度ソフトウェア工学研究室を趙教授とともに率いている。上海交通大学卒業後、東京大学にて修士および博士号を取得。ソフトウェア工学と信頼できるAIとの融合領域、特に、機械学習とAIシステムの品質と信頼性に関心を持つ。彼の研究は、SE, ICSE, FSE, ASE, ISSTA, ICML, NeurIPS, ACM MM, AAAI, IJCAI, ECCV, CAVなど、ソフトウェア工学やAI分野のトップ会議に多数採録され、３つのACM SIGSOFT Distinguished Paper Awardの他、１０以上のベストペーパ賞を受賞。産業界にも多大な影響を及ぼしている。詳しい情報は、Webサイトを参照のこと。

追悼企画：MLSE と青山幹雄先生

【概要】 MLSE 発足から深い関わりのある青山先生を偲ぶ追悼企画です。MLSE 発起人が集まり、青山先生の功績や MLSE 発足当時を振り返ります。またこの機会にこれからの MLSE を含めた機械学習工学のあり方を考え、さらなる発展を目指します。
前半は MLSE 発起人に青山先生との関わりやこれからの機械学習工学をお話いただき、後半は参加者からの質問も募ったディスカッション形式とします。

【登壇者】 丸山 宏 氏（Preferred Networks） 石川 冬樹 氏（国立情報学研究所） 吉岡 信和 氏（早稲田大学） 今井 健男 氏（Idein）

【オーガナイザー】 吉崎 亮介 氏（キカガク）

フルペーパー発表

論文は 予稿集に掲載されています。

題名

機械学習プロジェクト成功のための要求獲得・分析

著者

北野健太 増田知彰 石川冬樹 栗田太郎 徳本晋

概要

本研究では，機械学習プロジェクトの要求獲得・分析を効果的に進めることを目的に，有識者アンケートを通じ，機械学習プロジェクトキャンバスの過不足と有効性を示し，活用方法と補助ガイドラインの提案を行った．同キャンバスの既存項目に加え，プロジェクト管理，顧客姿勢，ドメイン知識の観点が重要と示した．また同キャンバスが，包括的なヒアリングと要求獲得に有用であると確認した．最後に，補助ガイドラインの必要性を論じ，一例の提案を行った．

ポスターセッション

*をついている発表は論文が 予稿集に掲載されています。

セッションの形式については、実行員会で検討中です。

チュートリアル: 機械学習デザインパターン

【講師】 鷲崎弘宜（早稲田大学、NII、システム情報、エクスモーション）

【概要】 機械学習の社会応用が急速に進展することに伴い、実務家や研究者において機械学習モデルや機械学習システム全体の良い設計の指針の整理と共有が求められています。本チュートリアルでは、Lakshmananらが整理体系化したデータ表現や問題表現、モデル訓練、再現性、運用、責任あるAIに関する30の機械学習デザインパターン（Machine Learning Design Patterns）について目的や分類、使いどころ、主要なパターンの詳細を解説します。加えて、講演者らがeAI・QAMLプロジェクトにおいて調査により整理している関連パターンの概要もご紹介します。

企画セッション

KS1: 機械学習を活用したシステムの開発における「プロセス・知見」研究

【背景】 様々な領域で機械学習(ML)技術が利用されている一方で、各領域にMLを活用したシステムを開発する際に、システムの目的や要件の定義、仮説検証（PoC）を行う際の評価指標の設定、開発時の設計方法など、開発プロセスおよび各フェーズにおける実行内容や手順に関する体系化された知見の蓄積は限定的である。本セッションでは、機械学習を活用したシステムの「プロセス・事例」を収集・概観し、共通するプロセスや知見を共有することを目的とする。

【セッション内容】 本セッションは、以下の2部からなります。第2部のワークショップでは「実際に関わったMLプロジェクトで得られた知見を共有し、共通点などを概観する」といった活動を行います。MLプロジェクトの実践で得られた知見を共有してくださる方の参加をお待ちしております。なお、本セッションで想定する知見は「プロジェクト運営上で有効となる知見」を想定しており、具体的にはプロジェクト管理、プロセス、全体設計に関係するものになります。具体的なツールの使い方や、パラメータ設定などは対象とはなりませんのでご了承ください。

第1部：講演

昨年度の企画セッションの振り返りや、組織内でMLプロジェクトに関する知見の活用に関する講演を予定しています。

第2部：ワークショップ

MLプロジェクトに関する知見を共有し、知見の有効な活用方法などについて議論をワークショップ形式で行います。

前半： 2020年度の企画セッションの成果として収集事例からボトムアップに抽出した開発モデルをMuralと呼ばれる巨大壁画ツールの上に張り出します。企画参加者には個人作業として、各自が実践したMLプロジェクトでの知見をモデル上に付箋形式で書き出します。(個人作業の詳細などについては現在検討中で、決まり次第連絡します。）

後半：提示された各知見に関する説明、知見全体を概観しながらの議論

Mural上で作成した成果物はPDFなどに変換し、公開します。

【その他】

第1部、第2部の時間配分などは参加者人数によって検討します。また、使用するツールの詳細情報は別途お知らせします。

【オーガナイザ】

• 今崎耕太（IPA）
• 竹内広宜（武蔵大学）
• 土肥拓生（ライフマティックス）
• 本橋洋介（NEC）

KS2: データ品質エンジニアリングのガイドラインをみんなで作っていこう

機械学習工学(MLSE)でにおいては、学習・検証に用いるデータの品質がとても重要になる。データ品質の向上・確保・保証には、母集団とサンプルの性質のような数理的なアプローチと、要求に対するデータの網羅性のようなエンジニアリング的なアプローチがありうる。前者に関する研究は数理統計分野や機械学習分野において議論されてきたものの、後者について、あるいは両者の現実的な統合のプラクティスは、まだ発展途上である。 本企画セッションとして、データ品質エンジニアリングのガイドラインを共同で構築していくことを目的とし、その構成要素に対する議論を行う。数理的なアプローチとエンジニアリングアプローチ双方における知見や技術に関し、課題や留意点も含めて列挙や構造化を試みることで、データ品質エンジニアリングのガイドラインに向けた議論を行う。

【オーガナイザ】

• 西 康晴（電通大）
• 小川 秀人（日立）
• 石川 冬樹（NII）
• 光本 直樹（デンソー）

KS3:本当に使われている素敵な機械学習システム最前線 〜エッジからスパコンまで〜

機械学習に基づく高度なアプリケーションの実現には、優れたハードウェアおよびソフトウェアによる計算機システムが必要不可欠である。その実態は、クラウドやスパコンといった大規模・高性能システムから、エッジAIと呼ばれる低消費電力・小型なシステムまで様々である。実際に利活用されている「素敵な」機械学習システムは、計算速度や消費電力、価格といったわかりやすい指標だけではなく、使いやすさなどの人間が深く関わる側面においても優れている。本セッションでは、機械学習サービス・アプリケーションを支えている、エッジAI向けの軽量なシステムから大規模・高並列システムまでの幅広い、実際に使われている素敵な機械学習システムの最新動向を紹介する。

本企画セッションの講演は聴講希望者への一般公開を検討しております。詳細は本ページにて後日通知します。

【オーガナイザ】

• 高前田 伸也（東大）
• 福田 圭祐（Preferred Networks）

KS4: 本番適用のためのインフラと運用に関する討論・相談会

本番適用のためのインフラと運用に関して討論・相談会を開きます。

参加者各位の経験や考察に基づく意見を交わすことで当該領域の理解を深め、最終的に世の中共通的に利用できる知見を編み出すことを目指します。オーガナイザが事前抽出したトピックから参加者が選択する討論と、あらかじめ募集した「本番適用のためのインフラと運用に関係する相談事」について互いにアイデアを出し合って解決策を模索する相談の場を設けます。

◆ トピック例：アノテーション手法とアーキテクチャ、試行錯誤からシームレスに本番適用に持っていくためのアーキテクチャ、など

◆ 備考： 討論会の議事メモを可能な限り公開していく予定です。

本企画セッション参加をご希望される皆様へ

• 本企画セッションではひとりひとりの積極的な参加により活発な議論を行うため、参加希望者が多数（30名以上目安）の場合には抽選等により人数制限を設けさせていただく場合があります。
• 参加をご希望される方は夏合宿の参加申込みフォームで「相談事」を記入ください。

【オーガナイザ】

• 有賀 康顕（Treasure Data）
• 土橋 昌（NTTデータ）

KS5: 機械学習システムセーフティ・セキュリティ

機械学習システム セーフティ・セキュリティWGのイベントとして、以下の企画セッションを行います。

【論文発表】2020年7月3日（土）　9:00－10:30

1. 吉岡信和, 矢嶋 純 森川　郁也，機械学習応用システムのためのセキュリティリスク分析手法
2. ReliableAI: Safety Verification of Black Box Type of AI　Hideki Nomoto, Shota Iino and Yasutaka Michiura

【招待講演】2020年７月3日（土）　10:45－12:30

講演者：岡田 学 （株式会社TierIV）

タイトル：自動運転サービスにおけるDevOps安全性論証の取り組み

自動運転の安全性について、楽しく議論しましょう。是非ご参加ください！！

【ランチセッション】 本企画セッションでは終了後にオンラインランチセッション（13:00-14:00） を開催します。

本企画セッションの講演は聴講希望者への一般公開を検討しております。詳細は本ページにて後日通知します。（都合により非公開となりました）

【オーガナイザ】

• 金子朋子（NII）
• 向山輝（NEC）
• 髙橋雄志（NaiSS）
• 野本秀樹（JAMSS）

ウェルカムセッション

初日の午前中は皆さんにツールの利用と合宿の雰囲気に馴染んでいただくため、ウェルカムセッションを開催します。
以降のスムーズな参加を可能にするためにも、ぜひ参加をお願いします。

ナイトセッション

参加者間の交流を促し、新しいアイデアや研究活動のきっかけをつくるために、初日、二日目にナイトセッションを開催します。 ナイトセッションでは、ランダムなグループ分けでお互いを知るスピードデートターンテーブルの後、 初日は基調講演者の馬先生を囲むテーブル、二日目は故青山先生のMLSE講演およびパネルを視聴しながら故人を偲ぶテーブルのほか、ボトムアップな議論テーマごとに別れたBoF(Bird of Feather)テーブルに別れた交流会を実施します。 ボトムアップな議論テーマは、合宿を通して設置されたMuralボードにて随時受け付ける予定ですので、議論したいこと、仲間を集めたいテーマがあれば、ぜひボードに書き込んでください。

その他、朝食・昼食のセッションについても現在企画中です。

主催

日本ソフトウェア科学会 機械学習工学研究会

ワークショップ運営組織

実行委員

• 実行委員長
  • 吉崎 亮介（キカガク）
• 副実行委員長
  • 土肥 拓生（ライフマティックス）
• ローカル委員長
  • 江澤 美保（クレスコ）
• プログラム委員長
  • 原 聡（大阪大学）
• 副プログラム委員長
  • 吉岡 信和（早稲田大学）
• 出版委員長
  • 竹内 広宜（武蔵大学）

プログラム委員

• 石川 冬樹（国立情報学研究所）
• 今井 健男（Idein）
• 鵜林 尚靖（九州大学）
• 先崎 佑弥（Idein）
• 徳本 晋（富士通研究所）
• 吉田 則裕（名古屋大学）
• 渡邉 孝文（Idein）

スポンサー

ゴールドスポンサー

シルバースポンサー

株式会社マイクロアド

株式会社Citadel AI

スポンサー募集

現在、以下のスポンサー枠を募集しています。
スポンサー料の支払いは、研究会の口座への振り込みを予定しています。
ご質問、ご連絡は mlse2021sws@googlegroups.com までお願いします。

ゴールドスポンサー:4万円

• スポンサーセッション(質疑応答込み25分)
• 申込サイトにロゴを掲示いたします
• 2名にご参加いただけます

シルバースポンサー: 2万円

• 申込サイトにロゴを掲示いたします
• 1名にご参加いただけます