2017 Fiscal Year Research-status Report
詳細釣り合いの破れが生み出す革新的機械学習アルゴリズム
| Project/Area Number |
16K13849
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
大関 真之 東北大学, 情報科学研究科, 准教授 (80447549)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
一木 輝久 名古屋大学, 未来社会創造機構, 特任准教授 (40711156)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 量子アニーリング / 統計的機械学習 / 詳細釣り合い |
|---|
| Outline of Annual Research Achievements |
機械学習アルゴリズムの多くは勾配降下法に基づき、その都度パラメータを更新する。その更新に際して極小の谷に落ち込むことがしばしばある。その回避のために熱揺らぎに相当するガウスノイズを導入する、シミュレーテッドアニーリング法、さらには量子揺らぎを導入する量子アニーリング法が物理学サイドからは提案されている。現在投稿中の論文は、深層学習における量子揺らぎの導入によってもたらされる効果の検証を行ったものである。量子揺らぎの導入により、トンネル効果によって極小の谷を超える効果を期待することはもちろんであるが、有限の量子揺らぎにより、谷の中における谷の形状の探索が可能であることが判明した。この形状の探索により、機械学習アルゴリズムの性能指標として最も重要な汎化性能が向上することが判明した。数値実験として極めて汎用的なオープンデータセットについて検証を行ったところ、良好な汎化性能を獲得した。この汎化性能の起源について、解析的検討を行ったところ、極小の周りの揺らぎをガウス分布の形で取り入れており、MM勾配降下法を採用すると、エントロピー勾配効果法として知られる海外の有力グループの手法を系統的に導出することができた。またこの手法は計算リソースを大半に割くため、MM勾配降下法だけでなく簡易的な手法にする他のタイプの近似を導入する可能性についても検討を行った。特に励起状態への遷移を考慮した離散的ノイズを導入すると、対応するフォッカープランク方程式に補正項が加わり、確率分布の形状による改善効果がもたらされることが判明した。この成果も突如得られたものであるため、最終年度である次年度に出版をする予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
量子アニーリング等の量子揺らぎを導入した機械学習アルゴリズムの創出、性能評価についてまで波及したため。
|
| Strategy for Future Research Activity |
今年度突如として成果の上がった量子揺らぎの導入による汎化性能の向上について、理論的基盤が形成されたことを受けて、より大きなデータセットや近似手法の改善により、さらなる効率的なアルゴリズムの創出を目指す。
|
| Causes of Carryover |
研究成果の公表が次年度にずれ込んだことが理由である。今年度は研究遂行実施に集中した反動である。最終年度は研究成果公表に予算を投入する。
|
