2018 Fiscal Year Research-status Report
Understanding and developing deep learning as estimation procedures of the high-dimensional parameter
| Project/Area Number |
18K11208
|
|---|
| Research Institution | The Institute of Statistical Mathematics |
|---|
Principal Investigator |
柳本 武美 統計数理研究所, －, 名誉教授 (40000195)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 母数推定 / Ramp関数 / Wasserstein距離 / 人の認識 |
|---|
| Outline of Annual Research Achievements |
活性化関数としての softmax, ReLU の選択は有効な母数の推測方法の選択と見なすことができる。その上で、これまで高次元母数モデルの推定技法を適用する。別の重要な視点は、データの解析法と学習データ集合の育成とを一体化した展開である。最初の目標は活性化関数 softmax関数と ReLU関数の役割の理解であった。
本年度の展開は二点に分けられる。先ず活性化関数を ramp関数と見なして一般化させる点にある。Ramp関数の理解は分野により異なるが、spline関数の分野と機械学習での損失関数の理解がある。更に、分布関数の裾の重さの視点を加えた。これは単なる関数の理解に止まらないで、人間の認識機構についての仮説と関係する。別の一点は、損失関数についてである。深層学習は分類問題を多項分布の出現確率の推定に還元させるから、損失のリスクの理解は必須である。しかし、実際には最尤推定原理のような、他の分野の概念とは乖離した研究が主流である。近年着目されている Waaserstein距離を通じて損失を導入する方法の研究を推進している。
本研究は基礎研究として単独で実施しているが、研究体制の構築のも配慮している。幸い統計数理研究所には関連研究者がいる。更にこのテーマに早くから取り組み経験も豊富で実務にも携っている大草助手(九州大)とは緊密に連絡している。互いに刺激を得る。更に一線の深層学習の研究者とも討論をすると共に、臨床診断データ集合への適用に実績のある小椋講師(三重大学病院)をも研究協力者として具体例に則した研究を行っている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の目標の設定の変更はなく、新しい接近方法も得られているので、大枠では目標は達成した。共同研究者の協力を得て、必要な数値計算をかなり実施できた。更に ramp関数の利用と新しい損失関数の導入に関しても着想を得た。更に臨床試験と深層学習の共通点あるいは活性関数から見た人の認識についても新しい知見を得つつある。人間の能力には驚異的な側面がある一方で、驚く程場当たり的で簡便な側面があることも分かっている。
|
| Strategy for Future Research Activity |
本年度に本格的に始まった新しい共同研究で成果を挙げることが、本研究の今後の中心課題である。更に、多くの分布の中で多項分布の母数推定問題が本研究テーマの視点からチャレンジしたいテーマである。技術的な研究を進めることに加えて、幅広い推測の立場から考察を加える。一見大きく異なる臨床試験と深層学習には根本的な面で共通点がある。その共通点は今後の研究に示唆を与えてくれると期待できる。また、機械学習が人間の認識の歯が立たなかった時代は、脳の機能の偉大さが強調された。比肩するようになった現代では視点を変える必要がある。そうした面への配慮が新しい展開を生むと見ている。
本研究に近い構想が統計数理研究所の共同研究重点領域として採用されているので、その研究班との連携を計る。
|
| Causes of Carryover |
全体として経費の有効利用を意図して節約して執行したためである。例えば、広島大での研究会では先方負担をお願いした。また、特殊な事情として、北京で開催が予定されていた研究集会への参加が事務的な混乱のために取りやめになったことがある。
次年度も研究費の節約には配慮しながらより有効な使用を進める。
|
