Study on online Dropput theory and its optimization

2022 Fiscal Year Research-status Report

• Project/Area Number: 18K11478
• Research Institution: Nihon University
• Principal Investigator: 原 一之 日本大学, 生産工学部, 教授 (30311004)
• Project Period (FY): 2018-04-01 – 2024-03-31
• Keywords: ドロップアウト学習 / オンライン学習 / ソフトコミッティマシン / ３層パーセプトロン / 統計力学

Outline of Annual Research Achievements

当該年度は前年度に引き続きコロナ禍のため、9月と3月に予定した共同研究者との議論のための英国への渡航を中止したため、前年度に続き、本年度も予算は執行しなかった。
本年度は、中間層と出力層の結合の学習法について検討した。当初はadiabatic elminationという統計力学で用いられる中間層と出力層の間の結合の学習法を用いる検討を行い、実装を行う予定であったが、この方法では中間層が３個の場合の動作が適切ではなかったため、勾配法を用いた方法に変更した。前年度に完成した理論に対してドロップアウトを実装する方法を検討した。
ドロップアウトは、中間層ユニットに適用する方法を検討した。統計力学的手法でドロップアウトの学習を実装するためには、この操作をそのまま実現することはできないため、結合係数が微小変化するのに必要な学習回数Tにおける平均的なドロップアウト確率pをp＝M/Nとし、このpを巨視的変数RやQの中に取り込んでドロップアウトの定式化をおこなった。ここでNは全中間ユニット数、Mは学習を行う中間ユニット数である。定式化に基づき、本年度はドロップアウトの巨視的方程式を導出した。また、前年度完成させた３層パーセプトロンのプログラムをこの定式化に基づいて変更し、ドロップアウトのプログラムを完成させた。
このプログラムを用いてドロップアウトの検証を行ったところ、中間ユニット数がある値の時、ドロップアウトの動作が予想したドロップアウトの動作と異なった動作となることがわかった。この点について英国の研究者である研究協力者と議論を試みたが、渡航して議論することができなたったため、この問題はまだ解決していない。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

本研究は前年度に続き、今年度も英国の研究協力者と議論が行えなかったため、問題点を解決することができなかった。研究代表者だけで進めてはいるが、ドロップアアウトの実装に必要な、三層パーセプトロンの統計力学の計算に必要なアドバイスが十分えられなかったことが一つの原因であった。
また、ドロップアウトの動作を統計力学的な手法を用いた学習へ導入する方法に誤りがあることが今年度の検討で分かった。この間、定式化を行い、プログラムの修正を行ったが、このプログラムの作成を通して先のドロップアウトの導入法の誤りを発見することができた。

Strategy for Future Research Activity

本来は2023年3月で本研究は終了の予定であったが、コロナ禍により2年計画が遅れている。
R4年度はドロップアウトの定式化の誤りを発見できたので、R5年度はそれを修正する方法を考案し、プログラムに反映し、実証する予定である。また、2023年6月には英国へ行き、3年ぶりに英国の研究協力者と議論する予定である。その場ではドロップアウトの定式化について確認を行ない、アドバイスを受けるとともに議論を行う。本年度は2回無いし3回程度英国へ渡り、本研究をR5年度中に完成させる予定である。

Causes of Carryover

R4年度、R3年度と渡英する予定であったが、コロナ禍で英国へ渡航できなかったため、大幅な予算消化不足となった。R5年度は２回から３回の渡英を計画しており、それに伴って英国の研究協力者との議論も大幅に進展すると考えている。