Study on online Dropput theory and its optimization

2021 Fiscal Year Research-status Report

• Project/Area Number: 18K11478
• Research Institution: Nihon University
• Principal Investigator: 原 一之 日本大学, 生産工学部, 教授 (30311004)
• Project Period (FY): 2018-04-01 – 2023-03-31
• Keywords: ドロップアウト学習 / オンライン学習 / ソフトコミッティマシン / ３層パーセプトロン / 統計力学

Outline of Annual Research Achievements

当該年度はコロナ禍のため、9月と3月に予定した共同研究者との議論のための英国への渡航を中止したため、予算は執行しなかった。
前年度は入力、中間層1層、出力層からなる3層ネットワークの理論の構築を終了し、解析解を計算するためのプログラムを完成させた。本年度は完成させた理論に対してドロップアウトを適用する方法について検討した。ドロップアウトはドロップアウト確率に従って中間素子が選択され、選択された素子はないものとして学習を行う。３層モデルの中間ユニットについてドロップアウトする場合についての定式化は行えたが、出力層の結合の学習法が未だ決定されていない。出力層の結合の学習法については来年度において検討する予定である。検討の方法としては、現在完成している中間層のドロップアウトを行うモデルを動作させた時の挙動を元に検討する予定である。また、2022年度は研究協力者である英国の研究者との議論を行い、早期に問題解決を図る予定である。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

３層モデルにおいて、中間ユニットのドロップアウトについて定式化することはできたが、出力ユニットの結合の更新の方法は従来と同様で良いと考えていたが、解析解の結果から、従来と同じでは良好な結果が得られないことがわかった。したがって、出力層の結合を更新する方法を改めて考案する必要がある。そのため、解析解を求めるコードを利用する予定である。

Strategy for Future Research Activity

当該年度は中間層のドロップアウトについて理論と解析解を計算するコードの作成が行えた。
来年度においては、出力層の結合の更新方法を検討する予定である。出力層の結合の更新方法が決定できない場合は、ドロップアウト確率がモデルに与える影響を再考する予定である。出力の更新方法が決定できた場合、ドロップアウトの効果およびドロップ愛と確率の効果を確認する予定である。
また、２０２２年度は英国へ渡航し、共同研究者と問題点について議論する予定である。

Causes of Carryover

２０２１年度はコロナ禍により、英国の研究協力者との議論のための渡航が全くできなったため、次年度使用額が生じた。２０２２度は渡航に関する規制が緩和されれば英国へ渡航する予定である。