2015 Fiscal Year Research-status Report
| Project/Area Number |
15K00330
|
|---|
| Research Institution | Yamagata University |
|---|
Principal Investigator |
安田 宗樹 山形大学, 理工学研究科, 准教授 (20532774)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 深層学習 / 制限ボルツマンマシン / 情報統計力学 / 情報理論 |
|---|
| Outline of Annual Research Achievements |
深層学習は多層の階層構造を持った機械学習のモデルであり、従来システムを圧倒的に凌駕する性能を示すことが知られている。現在世界的なレベルで深層学習に対する研究・開発が進んでいるが、深層学習の数理的側面に切り込みモデルの数理的な真相を明らかとしようという研究は皆無に近いほど進んでいない。当該研究計画は複雑な確率モデルの解析に有効な確率的情報処理理論の数理的・数値的解析手法を主要なアプローチとして，深層学習の数理的な構造を明らかとし、更にその知見を基に深層学習に対する実践的な設計理論を作り出すことを最終的な目的とする。
平成２７年度は、確率的深層学習モデルである、深層ボルツマンマシンに注目し、以下に述べるようなことを主たる研究として行った。
（１）深層ボルツマンマシンの事前学習に対する変分近似としての新しい考え方の提示。
（２）深層学習の基礎要素である制限ボルツマンマシンに対する統計計算アルゴリズムの提案。
「事前学習」は深層学習の重要な前処理的学習であるが、理論背景のほとんどなく、経験的な有効性に後押しされた非常に発見的な学習アルゴリズムである。（１）の研究では深層ボルツマンマシンに対する第一原理的な学習法である「最尤学習」と「事前学習」との間の数理的な関係について調べた。結果、事前学習は最尤学習のある種の変分近似として解釈することが可能であり、発見的な事前学習もやはり正しい学習法にある程度準拠した方針の学習アルゴリズムであることが分かった。この研究成果は機械学習のトップレベルの国際会議（採択率２割～３割程度）であるAISTATS2016にて採択されている。
（２）では、制限ボルツマンマシン上での統計計算アルゴリズムを情報統計力学の手法を用いて導出し、提案の計算アルゴリズムの有効性を情報理論的に証明した。この研究成果は国際学術論文誌JPSJにて既に出版されている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
【研究実績の概要】の項で述べた通り、本年度は深層学習モデルとその基礎要素のモデルの両方に対する理論的・実践的成果、すなわち、当該研究課題に対する直接的成果を挙げており、それらの成果は国際会議と国際学術論文誌に投稿し、共に採択されている。
以上の理由から、平成２７年度の研究進捗は順調であると考えられる。
|
| Strategy for Future Research Activity |
平成２７年度は主に情報理論的な観点から深層学習モデルを解析し、いくつかの成果を挙げてきた。今後はその観点に加え、情報統計力学的な観点からの解析も補強していく予定である。情報統計力学の解析はモデルの定性的な性質を明らかにすることが可能であるため、深層学習モデルの定性的な設計理論につながっていくものと期待される。
|
| Causes of Carryover |
業者に依頼していた英文校閲の納期が遅れたため。
|
| Expenditure Plan for Carryover Budget |
平成２８年度の予算で英文校閲の支払いを行う予定。
|
