2016 Fiscal Year Research-status Report
詳細釣り合いの破れが生み出す革新的機械学習アルゴリズム
| Project/Area Number |
16K13849
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
大関 真之 東北大学, 情報科学研究科, 准教授 (80447549)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
一木 輝久 名古屋大学, 未来社会創造機構, 准教授 (40711156)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 詳細釣り合いの破れ / 深層学習 |
|---|
| Outline of Annual Research Achievements |
計測技術の発展により、大規模で高次元なデータの取得が可能となり、注目を集めている機械学習分野では、マルコフ連鎖モンテカルロ法を中心とした確率過程が利用されている。
この確率過程に課される基本的常識のひとつ「詳細釣り合い」を破ることで、緩和時間の短縮、サンプリング効率の向上が確認されつつある。正確な計算を実行するための猶予が必ずしも許されない高次元データにおける「機械学習」分野に輸入することで、高次元データの構造抽出を正確に実行できるアルゴリズムの創出・計算ライブラリの設計を行う。
機械学習の中でもとりわけ中間層の厚い問題について、鞍点を効果的に抜け出すことができるかどうか、既存手法で効率的であるとされるAdam法に詳細釣り合いの破れを導入して、高速に抜け出すという現象を確認した。次年度以降論文や国際会議で公表していく。
またランジュバン方程式だけでなくノイズを消去した決定論的方程式における固定点への収束の加速を確認した。さらに詳細釣り合いの破れを引き起こすためにレプリカ系を用意する際に、任意の系を用意して良いという性質に注目して、ガウス分布を相手にした方法を利用するとより簡素で高速になることを確認した。この方法は実装が容易であり、業界標準の方法となり得ることが期待できる。
それぞれの方法について加速の原因となるのが、詳細釣り合いの破れに伴う固有値のシフトであることだけではなく、変分原理からの帰結であること、さらに量子速度限界の不等式におけるスペクトル理論による簡素な証明、量子最速降下曲線による結果であるなど、多方面からその結果の妥当性を議論することが可能であり、豊富な数理体系の下で成立する堅牢な理論であることが確認された。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
既存手法の最速手法とされるAdamよりも高速で確実に鞍点を抜け出す方法が発見されて、業界標準を塗り替えるということが期待できる展望が見えたため。
Chainerライブラリへの標準搭載を画策している。
|
| Strategy for Future Research Activity |
Pythonの深層学習ライブラリの一つChainerへの実装を進める。
その実装により一般人が自由に無料で使える環境を整えることで業績の普及と日本発の機械学習アルゴリズムが世に普及していくことを目指す。
また確率勾配法との併用により、詳細釣り合いの破れ方の最大化を行い、最も効率の良いアルゴリズムの追求、その自動的生成を行う方法論を確立する。
|
| Causes of Carryover |
新規アルゴリズムの創出が叶い、結果の公表をオープンソースにおける標準ライブラリへの実装を行うことが先に行うべき作業であるとして、論文や海外出張による国際会議登壇等よりも優先されたため。
|
| Expenditure Plan for Carryover Budget |
標準ライブラリへの実装は、研究者本人がまずテストのために行う一方で、最適化されたコードで高速に動作すること、あらゆるバグへの対処などを行うために外注をする経費として充てる。また公表に際して国際会議登壇・プレスリリース等で効果的に普及を目指す。
|
