Study on online Dropput theory and its optimization

2019 Fiscal Year Research-status Report

• Project/Area Number: 18K11478
• Research Institution: Nihon University
• Principal Investigator: 原 一之 日本大学, 生産工学部, 教授 (30311004)
• Project Period (FY): 2018-04-01 – 2023-03-31
• Keywords: ドロップアウト学習 / オンライン学習 / ソフトコミッティマシン / 統計力学

Outline of Annual Research Achievements

令和元年度はオンライン学習の枠組みで、ソフトコミッティマシンにドロップアウトを適用するための理論の開発と、計算機シミュレーションを行うためのプログラム開発を行いました。ソフトコミッティマシンの理論は研究協力者である英国Aston大学のDavid Saad教授により開発されています。この理論に対してドロップアウトを確率モデルを用いて定式化し、理論の構築を行いました。ドロップアウトの確率モデルは結合係数の更新式にドロップアウト確率pを導入することにより、選択された結合のみが結合が更新するよう定式化を行いました。結合係数の更新式を用いて学習の巨視的変数の従う微分方程式を導出し、さらに汎化誤差の理論式も導出しました。
つぎに、理論式を解析的に解くためのプログラムをDavid Saad教授と共同で作成しました。そしてこのプログラムを用いてドロップアウトの効果を確認いたしました。その結果、ドロップアウトを用いない場合、学習の収束が難しい場合でもドロップアウトを用いることにより学習の収束が可能になることが明らかになりました。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

ソフトコミッティマシンにドロップアウト学習を適用した場合の理論とその解析解を解くためのプログラムは開発を終了している。ソフトコミッティマシンにドロップアウト学習を適用した場合の学習の挙動については詳細に検討する必要があり、その点において今年度は十分検討することはできなかった。この点については引き続き来年度検討を行う予定である。

Strategy for Future Research Activity

今後はソフトコミッティマシンの理論を基礎として、三層パーセプトロンにドロップアウト学習を適用する方法を検討する。三層パーセプトロンは中間層と出力層の間の結合を学習により変化させるため、ダイナミクスが複雑である。従来は中間層と出力創刊の結合の学習には誤差逆伝播法が用いられたが、本研究ではAdiabatic Eliminationという統計力学の分野で知られる方法を実装することを考えている。
また、前年度からの続きとして、ソフトコミッティマシンにおいて教師と生徒の中間層の数が異なる場合の挙動を検討する。ドロップアウトでは教師より生徒の中間層のユニットの数が多い場合を主に想定するため、この検討は重要である。

Causes of Carryover

3月に英国Aston大学へ出張の予定であったが、新型コロナウイルスの影響で渡航が不可能となった。それによって次年度使用額が生じた。次年度は新型コロナウイルスが沈静化することが予測されるため、年度内に2回の出張を予定する。また、状況により渡航が不可能となった場合、現在不足しているGPUを搭載したシミュレーション用のコンピュータおよび計算機実験を行うためのツールであるmatlabを購入する。