2017 Fiscal Year Annual Research Report
統計力学的近似理論を用いた確率的深層学習アルゴリズムの開発
| Project/Area Number |
17J03081
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
高橋 茶子 東北大学, 情報科学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2017-04-26 – 2020-03-31
|
| Keywords | 平均場近似 |
|---|
| Outline of Annual Research Achievements |
確率的深層学習モデルであるdeep Boltzmann machine (DBM)は、restricted Boltzmann machine (RBM)を複数個組み合わせて成り立つような多層のグラフ構造を持っている。29年度の研究では、3層構造のDBMについての平均場近似の定式化が完了した。本研究で考える3層構造のDBMは最下層に連続値の入力を受け付ける可視層を持ち、次に連続値をとる隠れ層、最後に任意の離散値を取ることのできる隠れ層を持つ。この3層構造DBMに対しては、(i)3層モデルそのもの、(ii)可視層のみを周辺化した2層モデル、(iii)可視層と連続値をとる隠れ層を周辺化した全結合モデルに対する3つの平均場近似を考えることができ、それぞれを定式化することに成功した。この3層構造のDBMに対する3つの平均場近似についての数値シミュレーションも完了しており、(iii)の可能な限り周辺化を行う方法が最も優れた性能を示した。さらに、この結果に対する理論的な証明も、以前の研究で得られた結果と同様の方法を使って行うことができた。
29年度は上の研究成果の他に、深層学習とは異なる逆問題へのアプローチとして、圧縮センシングと呼ばれる手法についても研究を行った。圧縮センシングを用いた逆問題の解決はある種の最適化問題として定式化することができ、統計力学で培われてきたレプリカ法と呼ばれる解析手法で典型的な性能を解析することができる。報告者らのこの解析結果を含む論文は2本を国際学術論文誌に投稿済みであり、現在は査読を待っている段階である。レプリカ法を用いることで、報告者による上の平均場近似理論の解析的な性能評価ができる可能性があるため、今後はこの性能評価も組み込み、理論基盤を固めていくことも視野に入れて研究を進めていく必要があると認識している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の研究計画で1年目に予定していた平均場近似理論の拡張と定式化は完了しているため、進捗状況は順調であるとみなすことができる。研究計画に含まれるより高次な平均場近似法の適用については、定式化は完了しているものの、数値的検証などがまだ不十分であると認識している。現在はそれらの実験に取り組むとともに、まとまった研究成果の発表に向けて取り組んでいるところである。
|
| Strategy for Future Research Activity |
Gaussian RBMに対するナイーブ平均場近似についての結果は報告者の2016年の論文で発表されているが、他の平均場近似法による結果は未だ発表されていない。この結果を発表するにあたり、報告者は2つのステップを考えている。報告者はDBMに対して適応Thouless-Anderson-Palmer(TAP)平均場近似を適用しているが、適応TAP平均場近似は導出が非常に困難で、通常の方法では煩雑な手続きを踏まないことには平均場方程式の導出すらできないという問題を抱えている。そこで、報告者は[M. Yasuda & K. Tanaka: Phys. Rev. E, 2013]で提案されているimproved susceptibility propagationにヒントを得て、この方法を用いても適応TAP平均場近似そのものが得られることを見出した。この方法を用いると、報告者の提案したDBMに対する平均場近似理論に対する適応TAP平均場近似の適用が容易に行えると考えられる。それだけでなく、improved susceptibility propagation を用いると、数値的に平均場方程式を解く際にも大きな計算量を必要とする部分が減るため、計算時間の短縮にも一役買う可能性がある。この研究結果については、一部を 2018年3月に2つの国内会議において発表したところである。今後はより詳しく検証を行った結果を含む論文を執筆し、2018年夏頃までに論文誌に投稿することを目指している。この後に、報告者によるDBMの平均場理論に対するTAP平均場近似と適応TAP平均場近似の定式化と数値的検証を行い2018年秋頃までに論文を投稿できるよう研究を進めて行く予定である。
|
