2019 Fiscal Year Research-status Report
Understanding and developing deep learning as estimation procedures of the high-dimensional parameter
| Project/Area Number |
18K11208
|
|---|
| Research Institution | The Institute of Statistical Mathematics |
|---|
Principal Investigator |
柳本 武美 統計数理研究所, －, 名誉教授 (40000195)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 1対数尤度比 / 2Ramp関数 / 3Wasserstein距離 / 人の認識 |
|---|
| Outline of Annual Research Achievements |
活性化関数としての softmax, ReLU の選択は有効な母数の推測方法の選択と見なすことができる。その上で、これまで高次元母数モデルの推定技法を適用す
る。別の重要な視点は、データの解析法と学習データ集合の育成とを一体化した展開である。初年度の展開は、活性化関数を ramp関数と見なすことと、人間の認識機構についての仮説についてであった。
本年度の研究は、活性化関数の理解とその数理的説明である。活性化関数の従来の考え方は閾値モデルを原点として、閾値を超えたときに反応するつまり活性化する、と理解されていた。確かに生理現象を説明する上では重要ではあるが、人間の認識を模した情報処理の立場から見ると奇妙な理解である。つまり、不活性の状態を定数関数と見るのではなく恒等関数と見なす。恒等関数で活性化させると全く活性化されないから、この理解の方がよほど理に適っている。この理解を説明するために、活性化関数を対数尤度比として定式化することを試みている。
Waaserstein距離を通じて損失を導入する方法の研究が注目されている。従来等閑視されていたデータの解析が可能になると期待されるからである。損失を観測値間の距離を通じて定義しているので、全く新しい損失が導出される。
本研究は基礎研究として基本的に単独で実施している。幸い統計数理研究所には関連研究者がいて、その数は着実に増加している。その適用も新素材の研究から金融リスクの評価にまで亘っている。更にこのテーマに早くから取り組み経験も豊富で実務にも携っている大草講師(九州大→横浜市大)と連携している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の目標の設定の変更はなく、新しい接近方法も得られているので、大枠では目標は達成した。共同研究者の協力を得て、必要な数値計算をかなり実施できた。概要でも述べたように、深層学習の基本構造の理解を統計学の基本技術である対数尤度比から、定式化して展開する構想が見えてきた。この視点は多様な活性化関数を導入できる。更に臨床試験と深層学習の共通点を軸に活性関数から見た人の認識についても新しい知見を得つつある。
|
| Strategy for Future Research Activity |
主な研究対象である深層学習の多層性を支える活性化関数の理解を深める点にある。対数尤度比の視点を得ることが出来たので、新しい展開が期待できる。多様な活性化関数が定義できるが、その裏付けとしての分布の対が明示される。その視点から既存の活性化関数を見直し、新しい活性化を提示する。
一見大きく異なる臨床試験と深層学習には根本的な面で共通点がある。その共通点は今後の研究に示唆を与えてくれると期待できる。また、機械学習が人間の認識の歯が立たなかった時代は、脳の機能の偉大さが強調された。比肩するようになった現代では視点を変える必要がある。そうした面への配慮が新しい展開を生むと見ている。
本研究に近いテーマの研究者が急速に増加しているので、新しい視点をも組み入れることにより本研究の展開を図る。
|
| Causes of Carryover |
全体として経費の有効利用を意図して節約して執行したためである。実際秋田大学での研究会では先方負担をお願いすることにより経費の節約を図った。
次年度も継続して研究費の節約に努めながら、研究の推進に必要な経費を有効性に配慮しながら計上する。
|
