オンライン学習におけるドロップアウトの理論と最適化に関する研究

2019 年度 実施状況報告書

• 研究課題/領域番号: 18K11478
• 研究機関: 日本大学
• 研究代表者: 原 一之 日本大学, 生産工学部, 教授 (30311004)
• 研究期間 (年度): 2018-04-01 – 2023-03-31
• キーワード: ドロップアウト学習 / オンライン学習 / ソフトコミッティマシン / 統計力学

研究実績の概要

令和元年度はオンライン学習の枠組みで、ソフトコミッティマシンにドロップアウトを適用するための理論の開発と、計算機シミュレーションを行うためのプログラム開発を行いました。ソフトコミッティマシンの理論は研究協力者である英国Aston大学のDavid Saad教授により開発されています。この理論に対してドロップアウトを確率モデルを用いて定式化し、理論の構築を行いました。ドロップアウトの確率モデルは結合係数の更新式にドロップアウト確率pを導入することにより、選択された結合のみが結合が更新するよう定式化を行いました。結合係数の更新式を用いて学習の巨視的変数の従う微分方程式を導出し、さらに汎化誤差の理論式も導出しました。
つぎに、理論式を解析的に解くためのプログラムをDavid Saad教授と共同で作成しました。そしてこのプログラムを用いてドロップアウトの効果を確認いたしました。その結果、ドロップアウトを用いない場合、学習の収束が難しい場合でもドロップアウトを用いることにより学習の収束が可能になることが明らかになりました。

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

ソフトコミッティマシンにドロップアウト学習を適用した場合の理論とその解析解を解くためのプログラムは開発を終了している。ソフトコミッティマシンにドロップアウト学習を適用した場合の学習の挙動については詳細に検討する必要があり、その点において今年度は十分検討することはできなかった。この点については引き続き来年度検討を行う予定である。

今後の研究の推進方策

今後はソフトコミッティマシンの理論を基礎として、三層パーセプトロンにドロップアウト学習を適用する方法を検討する。三層パーセプトロンは中間層と出力層の間の結合を学習により変化させるため、ダイナミクスが複雑である。従来は中間層と出力創刊の結合の学習には誤差逆伝播法が用いられたが、本研究ではAdiabatic Eliminationという統計力学の分野で知られる方法を実装することを考えている。
また、前年度からの続きとして、ソフトコミッティマシンにおいて教師と生徒の中間層の数が異なる場合の挙動を検討する。ドロップアウトでは教師より生徒の中間層のユニットの数が多い場合を主に想定するため、この検討は重要である。

次年度使用額が生じた理由

3月に英国Aston大学へ出張の予定であったが、新型コロナウイルスの影響で渡航が不可能となった。それによって次年度使用額が生じた。次年度は新型コロナウイルスが沈静化することが予測されるため、年度内に2回の出張を予定する。また、状況により渡航が不可能となった場合、現在不足しているGPUを搭載したシミュレーション用のコンピュータおよび計算機実験を行うためのツールであるmatlabを購入する。