2018 Fiscal Year Annual Research Report
Development of the MDL Principle and Its Applications
| Project/Area Number |
18H03291
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
竹内 純一 九州大学, システム情報科学研究院, 教授 (80432871)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
三村 和史 広島市立大学, 情報科学研究科, 教授 (40353297)
村田 昇 早稲田大学, 理工学術院, 教授 (60242038)
長岡 浩司 電気通信大学, 大学院情報理工学研究科, 名誉教授 (80192235)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 記述長最小原理 / 深層学習 / 圧縮センシング / 局所指数族バンドル / 非負値行列因子分解 / 確率的コンプレキシティ |
|---|
| Outline of Annual Research Achievements |
記述長最小原理（MDL原理）の基礎については，MDL原理の柱であるBarron and Coverの理論（BC理論）と確率的コンプレキシティ（SC）を関係づける研究を行った．BC理論によると，二段階符号によって定義されるMDL推定量のリスクが二段階符号の冗長度で抑えられる．一方，SCは二段階符号を含むユニバーサル符号のリグレット(点冗長度)の上限である．二段階符号のリグレットはSCより大きいが，目標モデルが指数型である場合はその差が定数で抑えれ（Grunwald（2007）），MDL推定量のリスクの最適な上界が得られる．本研究ではこれを指数型分布族以外に一般化する方法を検討している．H30年度には，目標モデルの局所指数族バンドルを用いた二段階符号を採用することで一般化が可能なことを示し，具体例として混合型分布族の場合を考察した．この知見はニューラルネットワークの考察に役立つことを期待している．
深層学習の応用研究としては磁気共鳴画像法（MRI）の高速化について，深層学習超解像の手法を拡張して適用する方法の設計を行った．深層学習超解像は，圧縮センシング(CS)に基づく超解像(CS超解像)を深層学習により実装する技術であり，CS超解像はCSの機能により所与の画像の解像度を向上させる技術である．超解像の目的は解像度の向上であるため，高周波成分の補償を行う手法と言える．これに対し，MRIの高速化は観測時のアンダーサンプリングによって劣化した画像の高精度化によって実現をはかる方法が主流である．この場合高周波成分以外の補償が必要となるため，様々な周波成分に適応した超解像を組み合わせる手法を考案し，基本機能の確認を行った．
このほか，CSアルゴリズムや非負値行列因子分解の収束性の考察と，マーケットプレースにおける購買データの解析への応用に関する研究を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
MDL原理の基礎については，局所指数族バンドルを用いる手法の応用可能性を広げる成果を得た一方，局所指数族バンドルを用いた推定法に関して新たな基礎的課題が見つかった．このため予定していたMarkovモデルに関する考察を保留することになったが，局所指数族バンドルに関する考察は新たな展望をもたらしている．
応用に関しては，MRIに関する提案手法は実用上期待できる精度が得られることが判明し，その後の発展は順調に推移している．その他MDL推定を非負値行列因子分解に適用した手法は実用につながる発展を見せている．
|
| Strategy for Future Research Activity |
局所指数族バンドルに関する考察を今後も続ける一方，深層学習の研究動向に関する情報収集に努め，深層学習の最大の課題である理論的基盤の構築を目指す．一つは，MDL原理の立場から深層学習を解析する研究が現れているので，これを調査し拡張する研究を行う．
もう一つは，H31年度から本格的に取り組んだアンロールに関する考察を続け，MDL原理の立場からその性質を明らかにすることを目指す．アンロールとは，最適化問題の反復解法をニューラルネットワークで模倣し，一つの最適化問題を一事例として機械学習を行うことで解法の改善を行う手法である．この場合，理論的に最適な解を知ることができるため，深層学習の理論研究に適した事例を提供するものと期待できる．
|
