量子アニーリングと制限付きボルツマンマシンその２

量子アニーリングを使用したRBMのモデルの勉強会です。 １回目は6/16に予定されており、そこでの勉強の内容を踏まえて応用編の２回目でも少し突き詰めてみます。 特に知識がない人でも雰囲気とか興味で参加構いません。

RBMはディープラーニングの事前学習モデルとして有名で、 可視層と隠れ層の２層からなるモデルです。

前回の簡単な復習とまとめをしたあと、 応用編の考察は３種類テーマがあり、

１、負の対数尤度関数（NLL）の推定に一般的なCD法（PCD法）を用いる代わりに量子コンピュータのBoltzmann分布を用いる考察。

２、Chimera based RBMはD-wave型の量子アニーリングマシンの回路を使うとRBMのコネクションが大幅に減ってしまいます。現状の論文等ではコネクションの減少は大きな問題となっています。また、コネクションの形状がかなり特殊なので接続方法とイジングに対しての画像のpixelのマッピングの方法によって結果が異なってきます。chimeraをつかった完全結合に近い回路もできますがサイズが大きく減ります。

３、RBMのパラメータとして可視層と隠れ層のバイアスそれぞれと結合荷重があります。パラメータの取り方とノイズのサイズの影響を論文や考察を元に議論したいと思います。

場所は丸の内もしくは文京区本郷三丁目ラボカフェを予定しています。 最初の１時間くらいは勉強会をして、そのあとはざっくばらんに議論や意見交換をしたいと思います。

（2017.6.17追記）開始時間を少し送らせてほしいという希望が多かったので、開始を１９時にしようと思います。 また、当日のスライドが綺麗にまとまっていれば時間も３０分ぐらいで十分でしたので、３０分の勉強と３０分の議論。 ２０時から２１時は自由にしようと思います。

（2017.6.17追記）量子アニーリング関連は資料が世にでまわっていないので、シミュレータやまとめた資料を近日アップいたします。

（2017.6.22追記）多くの方が参加できるように枠を20名に増やしました。これ以上は増える予定はありません。。。

（2017.6.30追記）場所が本郷三丁目ラボカフェになりました。

（2017.7.19追記）

当日役立つ参考論文は３つあり、下記からダウンロードできます。 On the Challenges of Physical Implementations of RBMs Vincent Dumoulin, Ian J. Goodfellow, Aaron Courville, Yoshua Bengio https://arxiv.org/abs/1312.5258

Application of Quantum Annealing to Training of Deep Neural Networks Steven H. Adachi, Maxwell P. Henderson https://arxiv.org/abs/1510.06356

A Practical Guide to Training Restricted Boltzmann Machines Version 1 Geoffrey Hinton https://www.cs.toronto.edu/~hinton/absps/guideTR.pdf