2019 Fiscal Year Annual Research Report
Development of the MDL Principle and Its Applications
| Project/Area Number |
18H03291
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
竹内 純一 九州大学, システム情報科学研究院, 教授 (80432871)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
三村 和史 広島市立大学, 情報科学研究科, 教授 (40353297)
村田 昇 早稲田大学, 理工学術院, 教授 (60242038)
長岡 浩司 電気通信大学, 大学院情報理工学研究科, 名誉教授 (80192235)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | MDL原理 / 深層学習 / スパース学習 / 圧縮センシング / 磁気共鳴画像法 / 進化系統樹 / 超解像 / スパース重ね合わせ符号 |
|---|
| Outline of Annual Research Achievements |
記述長最小原理（MDL原理）の基礎については，2018年度に引き続き，Barron and Coverの理論（BC理論）と確率的コンプレキシティ（SC）を関係づける研究を行った．BC理論によると，二段階符号によって定義されるMDL推定量のリスクが二段階符号の冗長度で抑えられる．一方，SCは二段階符号を含むユニバーサル符号のリグレット(点冗長度)の上限である．二段階符号のリグレットはSCより大きいが，目標モデルが指数型である場合はその差が定数で抑えられ（Grunwald（2007）），MDL推定量のリスクの最適な上界が得られる．本研究ではこれを指数型分布族以外に一般化する方法を検討している．2018年度から，目標モデルの局所指数族バンドルを応用することで上記手法を一般する方法を検討し，混合型分布族に適用したが，2019年度には，この場合に厳密に拡張可能であることを証明した．関連する課題として，スパース表現のための辞書について考察し，データの平行移動とスケール変換に適応する手法を考案した．
応用研究としては，2018年度に引き続き，磁気共鳴画像法（MRI）の高速化について，深層学習超解像を拡張して適用する方法の設計を行った．また，圧縮センシングのための反復型最適化手法であるApproximate Message Passing (AMP)を，アンロールと呼ばれる手法で深層ニューラルネットワーク(DNN)に変換し，学習によって精度の向上を図った．特に，これをシャノン限界を達成する誤り訂正符号の一種であるスパース重ね合わせ符号に適用し，従来より性能の良い符号が設計できることを実証した．AMPに関連しては，反復時の更新量を抑制するダンピングと呼ばれる手法の理論解析を行った．このほか，大規模進化系統樹を生成する手法を，サイバーセキュリティにおけるマルウェア解析に応用する研究を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
Markovモデルの幾何学に関する研究を延期したため．
|
| Strategy for Future Research Activity |
深層学習に関する先行研究を調査し，Barron and Coverの理論を適用する方法について検討する．
|
