Study on online Dropput theory and its optimization

• Project/Area Number: 18K11478
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61040:Soft computing-related
• Research Institution: Nihon University
• Principal Investigator: 原 一之 日本大学, 生産工学部, 特任教授 (30311004)
• Project Period (FY): 2018-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000); Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2021: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000); Fiscal Year 2020: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000); Fiscal Year 2019: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000); Fiscal Year 2018: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
• Keywords: ドロップアウト学習 / オンライン学習 / ソフトコミッティマシン / ３層パーセプトロン / 統計力学 / ドロップアウト / 統計力学的手法 / 階層型ネットワーク / 深層学修 / 正則化

Outline of Annual Research Achievements

Dropout学習は、Hintonら[arXiv:1207.0580, 2012]によってモデルに必要とされるパラメータ数に対し、パラメータ数が冗長な場合に、パラメータを一時的にランダムに削除して学習を行うことにより、過学習を防ぐための学習法である。パラメータが一時的にランダムに削除されたモデルの構造は学習ごとに異なるため、構造の異なるモデルを自然に構成でき、またそれらのアンサンブルとしてモデルが構成されるため、学習の性能の向上が望める学習法である。Dropoutについて統計力学的な解析はほとんどなく、また、ドロップアウト確率p=0.5が最適とされることに対する十分な理論的裏付けがないことから、本研究ではDropoutの統計力学的な解析、およびドロップアウト確立の最適化を目標とした。
前年度まではソフトコミッティマシンを用いた場合のDropoutの統計力学的モデルを構築し、理論的な検討を行った。その結果、オンライン学習の枠組みで解析解を求めたが、オンライン学習の枠組みでの解析では、Hintonらが主張する利点は確認できなかった。また、３層パーセプトロンの統計力学的モデルも構築したが、ソフトコミッティマシン同様に、オンライン学習の枠組みではHintonらが主張する利点は確認できなかった。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

統計力学的解析では主にオンライン学習の枠組みで理論を構築した。構築した理論で解析解を求めたところ、ドロップアウト確率を１より小さくすると、急速にすべてのオーダーパラメータが同じ平衡状態に収束し、そこから脱出することができない、という現象を確認した。これはオンラン学習で理論を構築したため、ドロップアウトが頻繁に行われ、学習が崩壊したことが原因と考えられる。一方、Hintonらの論文によればDropoutをミニバッチ中は変更しないという方法をとっていることから、ある程度の回数は同じネットワークを用いる必要があることが示唆される。

Strategy for Future Research Activity

先に述べたように、オンライン学習の枠組みでは、学習を行うたびにネットワークを変更するため、学習が行われる前にネットワークが変更されてしまい、学習が崩壊し、結果的にオーダーパラメータが平衡状態から脱出できないという現象が現れたと考えている。したがって、ある程度の回数は同じネットワークを使う方法を考えれば、学習が崩壊することはないと考えている。

Research Products

• [Int'l Joint Research] Aston University(英国)
• [Int'l Joint Research] Aston University(英国)