2019 Fiscal Year Research-status Report
パラメータ再定義法による自然勾配法実現を通した複雑な深層ネットワーク学習の効率化
| Project/Area Number |
18K18121
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
木脇 太一 東京大学, 大学院情報理工学系研究科, 特任助教 (70786011)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 深層ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
当年度はニューラルネットワークの実データ応用に関して成果[1]を報告した．これは緑内障という進行性の眼病の症状予測に関するものであり，私は手法設計において基軸となった線形予測器とニューラルネットワークの組み合わせに関するアイディアを出した．この論文で扱った主な困難は，利用可能なデータ数が大きく制限された状況下でニューラルネットワークの過学習を防ぐことであった．実際，上述のアイディア無しでは学習器がデータに過適合してしまい，十分な性能を発揮することが出来なかった．この少数データ上での過学習抑制の問題はニューラルネットワークの学習理論における主な関心事項の一つでもあるため，本研究計画を遂行する上でもここで得られた知見は重要であると考えている．
また本研究計画で主な位置付けにあるニューラルネットワークの学習理論に関しては，研究遂行の上で基礎となる古典的な学習理論やカーネル法の理論的な基礎，また関数解析などの数学の知識補充に大きなリソースを割いた．こちらに関しては現状ではまだ具体的な成果に結びついていないものの，これまでに得た知識は今後の研究を遂行する上で非常に有用であると考えている．こちらに関して詳細は現在までの進捗状況で述べる．
[1] Yuhui Zheng, Linchuan Xu, Taichi Kiwaki, Jing Wang, Hiroshi Murata, Ryo Asaoka, Kenji Yamanishi: "Glaucoma Progression Prediction Using Retinal Thickness via Latent Space Linear Regression." KDD 2019: p. 2278-2286
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
18年度の報告でも言及したが，本研究テーマと大きく関係する研究が18年に発表されたため，テーマの大幅な見直しを行っていることが進捗が遅れた一番の理由である．また研究遂行に関して不足していると思われる基礎知識の習得に多くの時間を費やしたことも理由として挙げられる．これは具体的に述べると，ニューラルネットワークの学習を考える上で近年再び注目されるカーネル法[2,3]の理論的な側面に関して基礎知識を吸収すると共に，古典的な学習理論の見直しを行った．更には関数解析や数値解析，凸最適化[4]など学習理論の研究を進める上で必要となる基礎的な数学に関しても知識不足の解消に努めた．これらの知識面での準備は現状では成果に結びついていないものの，今後の研究を円滑に進める上では必要不可欠であると考えている．また概要でも述べた応用研究へリソースを割いてしまった点も理由の一つである．ただし[1]で扱ったデータ制限下でのニューラルネットワークの訓練は理論的にも関心を集める問題であるため，ここで得た知見は今後の研究遂行に役立つと考えている．
[2] Jacot, Arthur, Franck Gabriel, and Clement Hongler. "Neural tangent kernel: Convergence and generalization in neural networks." Advances in neural information processing systems. 2018.
[3] Steinwart, Ingo, and Andreas Christmann. "Support vector machines." Springer Science & Business Media, 2008.
[4] Nesterov, Yurii. "Introductory lectures on convex optimization: A basic course." Vol. 87. Springer Science & Business Media, 2013.
|
| Strategy for Future Research Activity |
これまでは基礎知識の吸収に大きく時間を割いて来たため，最新の研究動向把握には遅れが出てしまっている．今後は基礎の習得を進めると同時に追いきれていなかった近年の論文調査を行い，これまでに応用研究から得られた知見と合わせて残された時間で遂行可能なサブテーマを設定する予定である．また今後も引き続き眼病に関するデータを主なターゲットとして応用研究も進めて行く予定である．
|
| Causes of Carryover |
昨年度は学会参加を見合わせてしまい，また設備購入の必要もなかったため予算を繰越した．この予算は今年度行う設備投資に充てる予定である．
|
