| 研究課題/領域番号 |
18K11478
|
|---|
| 研究機関 | 日本大学 |
|---|
研究代表者 |
原 一之 日本大学, 生産工学部, 特任教授 (30311004)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2025-03-31
|
| キーワード | ドロップアウト学習 / オンライン学習 / ソフトコミッティマシン / ３層パーセプトロン / 統計力学 |
|---|
| 研究実績の概要 |
Dropout学習は、Hintonら[arXiv:1207.0580, 2012]によってモデルに必要とされるパラメータ数に対し、パラメータ数が冗長な場合に、パラメータを一時的にランダムに削除して学習を行うことにより、過学習を防ぐための学習法である。パラメータが一時的にランダムに削除されたモデルの構造は学習ごとに異なるため、構造の異なるモデルを自然に構成でき、またそれらのアンサンブルとしてモデルが構成されるため、学習の性能の向上が望める学習法である。Dropoutについて統計力学的な解析はほとんどなく、また、ドロップアウト確率p=0.5が最適とされることに対する十分な理論的裏付けがないことから、本研究ではDropoutの統計力学的な解析、およびドロップアウト確立の最適化を目標とした。
前年度まではソフトコミッティマシンを用いた場合のDropoutの統計力学的モデルを構築し、理論的な検討を行った。その結果、オンライン学習の枠組みで解析解を求めたが、オンライン学習の枠組みでの解析では、Hintonらが主張する利点は確認できなかった。また、３層パーセプトロンの統計力学的モデルも構築したが、ソフトコミッティマシン同様に、オンライン学習の枠組みではHintonらが主張する利点は確認できなかった。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
4: 遅れている
理由
統計力学的解析では主にオンライン学習の枠組みで理論を構築した。構築した理論で解析解を求めたところ、ドロップアウト確率を１より小さくすると、急速にすべてのオーダーパラメータが同じ平衡状態に収束し、そこから脱出することができない、という現象を確認した。これはオンラン学習で理論を構築したため、ドロップアウトが頻繁に行われ、学習が崩壊したことが原因と考えられる。一方、Hintonらの論文によればDropoutをミニバッチ中は変更しないという方法をとっていることから、ある程度の回数は同じネットワークを用いる必要があることが示唆される。
|
| 今後の研究の推進方策 |
先に述べたように、オンライン学習の枠組みでは、学習を行うたびにネットワークを変更するため、学習が行われる前にネットワークが変更されてしまい、学習が崩壊し、結果的にオーダーパラメータが平衡状態から脱出できないという現象が現れたと考えている。したがって、ある程度の回数は同じネットワークを使う方法を考えれば、学習が崩壊することはないと考えている。
|
| 次年度使用額が生じた理由 |
コロナウイルス対策により、3年間の英国への渡航ができず、研究協力者との打ち合わせを行うことができなかったため、渡航費用が大幅に変更になった。令和5年度はそのため3回の渡航を行ったが、それでも次年度使用額を生じた。
令和6年度に1回の渡航を行う予定である。
|
