| 研究課題/領域番号 |
18K11478
|
|---|
| 研究機関 | 日本大学 |
|---|
研究代表者 |
原 一之 日本大学, 生産工学部, 教授 (30311004)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2023-03-31
|
| キーワード | ドロップアウト学習 / オンライン学習 / ソフトコミッティマシン / ３層パーセプトロン / 統計力学 |
|---|
| 研究実績の概要 |
当該年度はコロナ禍のため、9月に予定していた共同研究者である英国Aston大学教授 David Saad教授との議論のための渡航を中止した。
前年度でソフトコミッティマシンを用いたドロップアウトの実装については完成し、その効果を確認した。ドロップアウトの効果があることは確認できたが、協議の結果、十分な効果が得られていないとの結論となった。したがって共同研究者であるDavid Saad教授との協議ではこの段階での論文を執筆しないこととした。
そこで、当該年度は入力、中間層1層、出力層からなる3層ネットワークの理論の構築に取り掛かり、完成した。また、３層ネットワークの理論の検証を行なった。３層ネットワークでは入力と中間層間の結合、中間層と出力層関の結合の両方が学習対象のため、理論とシミュレーションが一致することを確認するため、検討を行なった。特にシミュレーションではプラトーが対称性の破壊によって終了する時刻は初期値に強く依存するため、シミュレーションで作成した結合を理論においても用いることで、理論とシミュレーションのプラトーの対称性の崩壊がほぼ同時期に起きることを確認した。これにより、3層ネットワークの理論の確認とシミュレーションとの比較を行い。、両者が一致することを確認した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
ソフトコミッティマシンを用いたドロップアウトではドロップアウトの効果が十分に確認できなかった。
そこで３層ネットワークを用いるよう、方針変更を行なった。３層ネットワークの理論計算は行ったことがなかったため、理論の構築までに時間を要した。さらに、３層ネットワークの理論の検証のためにシミュレーションとの比較を行おうとしたが、プラトーが対称性の破壊によって終了する時刻が理論とシミュレーションで一致しない現象が発生し、その原因が結合の初期値の違いであることを確認するまでに時間を要した。
|
| 今後の研究の推進方策 |
当該年度は入力、中間層1層、出力層からなる3層ネットワークの理論を完成し、その検証を行なった。
当該年度で３層ネットワークの理論とシミュレーションの検証を行い、理論が正しいことを確認できたため、今後は３層ネットワークの理論にドロップアウトの理論を実装し、ドロップアウトの効果を確認する予定である。
ドロップアウトの効果ができた後は、ドロップアウト確率の最適化に関する研究を行う予定である。
|
| 次年度使用額が生じた理由 |
当該年度は共同研究者である英国Aston大学のDavid Saad教授を訪問する予定であったが、コロナ禍であったために、渡航を中止したため、予算を使用できなかった。
来年度も同様に海外への渡航が望めない状況であるが、英国の共同研究者との連絡用に会議システムを購入するなどを行い、渡航できない問題を軽減する予定である。
|
