オンライン学習におけるドロップアウトの理論と最適化に関する研究

2022 年度 実施状況報告書

• 研究課題/領域番号: 18K11478
• 研究機関: 日本大学
• 研究代表者: 原 一之 日本大学, 生産工学部, 教授 (30311004)
• 研究期間 (年度): 2018-04-01 – 2024-03-31
• キーワード: ドロップアウト学習 / オンライン学習 / ソフトコミッティマシン / ３層パーセプトロン / 統計力学

研究実績の概要

当該年度は前年度に引き続きコロナ禍のため、9月と3月に予定した共同研究者との議論のための英国への渡航を中止したため、前年度に続き、本年度も予算は執行しなかった。
本年度は、中間層と出力層の結合の学習法について検討した。当初はadiabatic elminationという統計力学で用いられる中間層と出力層の間の結合の学習法を用いる検討を行い、実装を行う予定であったが、この方法では中間層が３個の場合の動作が適切ではなかったため、勾配法を用いた方法に変更した。前年度に完成した理論に対してドロップアウトを実装する方法を検討した。
ドロップアウトは、中間層ユニットに適用する方法を検討した。統計力学的手法でドロップアウトの学習を実装するためには、この操作をそのまま実現することはできないため、結合係数が微小変化するのに必要な学習回数Tにおける平均的なドロップアウト確率pをp＝M/Nとし、このpを巨視的変数RやQの中に取り込んでドロップアウトの定式化をおこなった。ここでNは全中間ユニット数、Mは学習を行う中間ユニット数である。定式化に基づき、本年度はドロップアウトの巨視的方程式を導出した。また、前年度完成させた３層パーセプトロンのプログラムをこの定式化に基づいて変更し、ドロップアウトのプログラムを完成させた。
このプログラムを用いてドロップアウトの検証を行ったところ、中間ユニット数がある値の時、ドロップアウトの動作が予想したドロップアウトの動作と異なった動作となることがわかった。この点について英国の研究者である研究協力者と議論を試みたが、渡航して議論することができなたったため、この問題はまだ解決していない。

現在までの達成度 (区分)

4: 遅れている

理由

本研究は前年度に続き、今年度も英国の研究協力者と議論が行えなかったため、問題点を解決することができなかった。研究代表者だけで進めてはいるが、ドロップアアウトの実装に必要な、三層パーセプトロンの統計力学の計算に必要なアドバイスが十分えられなかったことが一つの原因であった。
また、ドロップアウトの動作を統計力学的な手法を用いた学習へ導入する方法に誤りがあることが今年度の検討で分かった。この間、定式化を行い、プログラムの修正を行ったが、このプログラムの作成を通して先のドロップアウトの導入法の誤りを発見することができた。

今後の研究の推進方策

本来は2023年3月で本研究は終了の予定であったが、コロナ禍により2年計画が遅れている。
R4年度はドロップアウトの定式化の誤りを発見できたので、R5年度はそれを修正する方法を考案し、プログラムに反映し、実証する予定である。また、2023年6月には英国へ行き、3年ぶりに英国の研究協力者と議論する予定である。その場ではドロップアウトの定式化について確認を行ない、アドバイスを受けるとともに議論を行う。本年度は2回無いし3回程度英国へ渡り、本研究をR5年度中に完成させる予定である。

次年度使用額が生じた理由

R4年度、R3年度と渡英する予定であったが、コロナ禍で英国へ渡航できなかったため、大幅な予算消化不足となった。R5年度は２回から３回の渡英を計画しており、それに伴って英国の研究協力者との議論も大幅に進展すると考えている。