機械学習・ディープラーニングのための最適化基礎

2018/07/21(土)14:00 〜 19:00 開催

機械学習, 数学

イベント内容

内容概要

多くの機械学習手法はライブラリ化され、データを与えれば比較的容易に人工知能を実現できるようになっています。
一方で、そのライブラリ化された手法のパラメータの意味は「その手法の理論・数式」がわかっていなければ、適切に扱うことができません。ライブラリを自在に扱うためには、「ライブラリが裏でやってくれる計算・理論」を理解しておくことが重要になってきます。

今回は、『最適化』を取り上げます。ディープラーニングをはじめとする多くの機械学習手法は、最適化問題と呼ばれる問題を解けば良いことが知られております（機械学習はなんらかの関数を定義して、それを最適化することがほとんどです）。そのため最適化問題の理論を理解できれば、機械学習の様々な理論を効果的に習得することに繋がります。

本講座では特に、回帰分析やサポートベクタマシンの学習などで現れる「凸最適化理論」に焦点を当て、解説いたします。計5時間の講座の中で、演習問題を交えながら凸最適化の理論を解説し、機械学習のより一層の理解を目指します。

講座で得られること

回帰分析やサポートベクタマシン、ディープラーニングの学習で現れる最適化問題を解説いたします。より具体的には凸最適化理論の世界的名著[1] の 2~6 章を機械学習に関連させて解説いたします。
[1] S.Boyd and L.Vandenberghe “Convex Optimization,” Cambridge University Press, 2004.

英語版はウェブ上に無料公開されております。
http://stanford.edu/~boyd/cvxbook/

受付・入場時間

開始の10分前から

カリキュラム

０．導入
- 凸最適化とは
- 機械学習での最適化問題の例
- 最適化問題とその用語
- 凸集合・凸関数
- 凸最適化問題

１．最小二乗法（回帰直線を例に）
- 目的関数の導出
- 正規方程式
- 最小二乗法の幾何学的意味*
- 最小二乗法の数値計算法*

２．凸２次計画問題（サポートベクタマシンを例に）
- 目的関数・制約条件の導出
- ラグランジュ関数
- KKT条件
- サポートベクタマシンの性質の考察*
- 双対理論*

３．正則化（Lassoを例に）
- 元々のモチベーション
- l0/l1, l2正則化

４．計算法（勾配法）
- 勾配法の導出
- 確率的勾配降下法
- ニューラルネットワークの学習（凸でない最適化問題への応用）

*は時間の都合上、割愛させていただく可能性があります。

対象者

・微分や行列を計算し、機械学習の手法をより理解したい方
・ライブラリのパラメータの意味を理論的に理解したい方

講師

S Akematsu

東北大学理学部数学科卒業。個人事業を経て、高専向け学習塾「ナレッジスター」の経営などを行う教育特化型企業「合同会社Haikara City」を創業。現在、高専教育、社会人向けIT教育、WEB教育コンテンツの発信等を主に行う。著書線形空間論入門� 。現在は、画像解析システムの研究開発企業に対して、DeepLearningに関する数理コンサルティング、数学指導なども行う

＊または、機械学習に精通した他の講師が務めます。