2020 Fiscal Year Annual Research Report
Understanding and developing deep learning as estimation procedures of the high-dimensional parameter
| Project/Area Number |
18K11208
|
|---|
| Research Institution | The Institute of Statistical Mathematics |
|---|
Principal Investigator |
柳本 武美 統計数理研究所, －, 名誉教授 (40000195)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 母数推定 / Ramp関数 / ベイズモデル / Wasserstein距離 |
|---|
| Outline of Annual Research Achievements |
深層学習の構造は、一見複雑な現象を数学的に複雑なモデルによる解析ではなくて、単純な構造をした高次元空間のモデルを利用した点にある。この発想自体は極くありきたりではある。
この成功は多くの改良の可能性を示している。本研究では尤度比統計量を中心にして損失関数・ベイズモデルからの改良を企図した。活性化関数としての softmax, ReLU の選択は有効な母数の推測方法の選択と見なすことができる。その上で、これまで高次元母数モデルの推定技法を適用する。別の重要な視点は、る。別の重要な視点は、データの解析法と学習データ集合の育成とを一体化した展開である。最初の目標は活性化関数 softmax関数とReLU関数の役割の理解であった。
これ迄に二点の展開を計った。先ず活性化関数を ramp関数と見なして一般化させる点にある。Ramp関数の理解は分野により異なるが、spline関数の分野と機械学習での損失関数の理解がある。更に、分布関数の裾の重さの視点を加えた。別の一点は、損失関数についてである。深層学習は分類問題を多項分布の出現確率の推定に還元させるから、損失のリスクの理解は必須である。しかし、実際には最尤推定原理のような、他の分野の概念とは乖離した研究が主流である。近年着目されている Waaserstein距離を通じて損失を導入する方法の研究を推進している。
これらの研究の上に立って別の試みをも開始している。高次元モデルの記述では伝統的にベイズモデルが利用される。特に reference priorとの関連を考察した。従来は漸近理論に研究者の関心が集中してきたが、その技術は高次元モデルのより深い理解に適用が見込まれる。活性関数の新しい理解が進むとの見込みを立てている。
|
Research Products
(6 results)
