| 研究課題/領域番号 |
18K11478
|
|---|
| 研究機関 | 日本大学 |
|---|
研究代表者 |
原 一之 日本大学, 生産工学部, 教授 (30311004)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2023-03-31
|
| キーワード | ドロップアウト / オンライン学習 / 統計力学的手法 / ソフトコミッティマシン / 階層型ネットワーク |
|---|
| 研究実績の概要 |
前年度は本研究の目的の１つであるドロップアウトの定式化を行いました。まず計算機シミュレーションによりドロップアウトの効果が得られる条件を精査しました。学習はオンライン学習としました。入力と中間層間および中間層・出力層間の結合は確率勾配法を用いて学習を行いました。その結果、3層のネットワークにおいて、教師の中間ユニットの数に対して生徒の中間ユニット数が多い場合、学習を行っても誤差が小さくなりにくいという現象が観察されました。この条件に対してドロップアウトを適用したところ、誤差が適切に小さくなったことからドロップアウトが有効な条件を確認することができました。
次にドロップアウトの理論の構築に関する検討を行いました。ネットワークはソフトコミッティマシンおよびシミュレーションと同様の階層型構造を想定しました。ドロップアウトの理論構築には統計力学的手法を用います。ドロップアウトの理論を構築するにあたって、２つのステップを想定しました。１つは比較的容易なモデルである、ソフトコミッティマシンを用いた場合のドロップアウトの理論の構築です。次のステップはより現実的なモデルである、階層型ネットワークを用いたドロップアウトの構築です。前年度は主にソフトコミッティマシンを用いた場合を検討しました。
ソフトコミッティマシンの理論は研究協力者であるAston大学のDavid Saad教授により開発されています。我々はSaad教授の協力を得て、ソフトコミッティマシンの理論の導出法や学習の挙動を解析するための数値計算の方法を習得しました。また、ドロップアウトを統計力学的方法として取り扱う方法についてもSaad教授と議論し、取り扱い法を確立しました。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
今年度はソフトコミッティマシンを用いたドロップアウトの理論の構築を行いました。ソフトコミッティマシンは階層型ネットワークの一種です。ソフトコミッティマシンは統計力学的手法で解析が可能なモデルですが、特別な配慮をしなくて統計力学の構築が可能なことから、理論構築を行うための基礎的検討には最適と考えました。ソフトコミッティマシンは中間ユニットと出力ユニット間の結合値を1に固定しているため、階層型ネットワークの簡易版とみなすことができます。したがって、研究協力者のAston大学のDavid Saad教授が開発した手法で解析が可能なソフトコミッティマシンのドロップアウトの理論を構築し、さらにドロップアウトの理論に必要な手法を習得することにより、階層型ネットワークのドロップアウトの理論構築法を検証することができます。
ソフトコミッティマシンの理論は研究協力者であるAston大学のDavid Saad教授により開発されています。我々はSaad教授の協力を得て、ソフトコミッティマシンの理論の導出法や学習の挙動を解析するための数値計算の方法を習得しました。また、ドロップアウトを統計力学的方法として取り扱う方法についてもSaad教授と議論し、取り扱い法を確立しました。
2019年度はソフトコミッティマシンを用いたドロップアウトの統計力学的な取り扱い法を用いて数値計算するプログラムを開発します。また、数値計算プログラムを用いてドロップアウト確率による挙動の変化を明らかにする予定です。
|
| 今後の研究の推進方策 |
今後の研究の推進方策として次の2つ考えています。1つはソフトコミッティマシンを用いたドロップアウトの理論を構築しましたので、次の段階として具体的な学習の挙動を再現できる数値計算プログラムを開発し、ドロップアウトの効果について詳細に解析することです。それにより、シミュレーションでは困難だった、ドロップアウト学習の詳細な挙動の解析が可能になります。この時に注目するべき条件としては、学習ステップサイズの大きさ、中間ユニットの数、さらにドロップアウト確率です。どロックアウトに関してこのような詳細な解析は今まで十分に行われていません。さらに学習の過程でドロップアウト確率を最適化することにより、ドロップアウトを用いた学習の最適化を行うことができます。ドロップアウト確率の最適化法についても検討する予定です。
ソフトコミッティマシンによるドロップアウトの理論の構築、およびドロップアウト確率の最適化手法を開発した後は、階層型ネットワークによるドロップアウトの理論の構築、およびドロップアウト確率の最適化法を開発する予定です。ソフトコミッティマシンから階層型ネットワークへ変更する場合の困難さは中間層と出力層間の結合をも学習する、という点にあります。このような学習を行う方法として従来は誤差逆伝播法が用いられていますので、それを用いてドロップアウトの統計力学を構築する予定です。
|
| 次年度使用額が生じた理由 |
今年度の使用額が予定より少なくなった理由として、設備費として購入を予定していたコンピュータを予定していた890（千円）安い650（千円）で購入できたこと、消耗費190（千円）および旅費が予定より安価に実施できたことが挙げられます。これらは研究者の工夫によって実現した費用の有効利用の結果です。
来年度は成果発表および研究協力者との打ち合わせの2件の出張を計画していますので、翌年度分として請求した助成金だけでは費用が不足することが予測されますが、次年度使用額と請求した助成金を合わせることによって、出張に必要な十分な費用を確保することができます。
|
