2020 Fiscal Year Research-status Report
ブロックデザインのディープラーニングへの応用とその構成
| Project/Area Number |
19K11866
|
|---|
| Research Institution | Tokyo University of Science |
|---|
Principal Investigator |
宮本 暢子 東京理科大学, 理工学部情報科学科, 教授 (20318207)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
三嶋 美和子 岐阜大学, 工学部, 教授 (00283284)
地嵜 頌子 大阪工業大学, 情報科学部, 講師 (90778250)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | ドロップアウトデザイン / ディープラーニング / ドロップアウト |
|---|
| Outline of Annual Research Achievements |
ディープラーニングにおいて過学習を避けるための手法の一つとしてドロップアウトがある。これは学習の度にランダムに非活性化させるノードを選び、毎回異 なる重み付けをすることで汎化性能を高める手法である。本研究ではドロップアウト法に統計的実験計画法で用いられるブロックデザインを活用するため、ド ロップアウトデザインと呼ばれる新しいデザインを定義した。ドロップアウトデザインは、2因子実験における統計モデルとしての最適性を保持するsplit block design と呼ばれるブロックデザインを拡張したものであり、各層の各ノードが等頻度で学習に組み込まれるだけでなく、各層のノード間を結ぶ辺の出現頻度を 均一にするような特性を持つデザインである。研究目的として(1)ドロップアウトデザインの構成手法の提案, (2)ドロップアウトデザインの有効性の検証があ る。
(1)について、これまで２層間に対応したドロップアウトデザインの構成法しか得られていなかったが, ３層間に対応したドロップアウトデザインの構成法をアフィン幾何の構造を用いて与えた.
(2)について、データセットはCIFAR-10と, 一様分布からランダムサンプリングしたデータに対して作成した，10クラス分類用データセットの2種類を準備し、 ネットワークとして多層パーセプトロンと畳み込みニューラルネットワークの2種類を用い、dropout designを用いた学習, ランダムなdropout法を用いた学習, dropout法を使わない学習の3つに対する実験を行っている途中である.
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
ドロップアウトデザインの構成手法の提案については、これまで順調に進んでいるといえる。一方、ドロップアウトデザインの有用性の検証は、順調に進んでいるとは言えない。現在実験結果については, 訓練データに対する損失, テストデータに対する損失, 訓練精度, テスト精度を収集しており, 実験データの収集に時間がかかっている状況である。 繰り返し実験もしくは区間を区切って分散を求め, ドロップアウトデザインを用いた手法では, 分散が小さくなることを検証中である。
|
| Strategy for Future Research Activity |
ドロップアウトデザインの構成手法を様々なパラメータで提案し、各ドロップアウトデザインを用いた学習を行う実験のデータを比較検証することで、どのよう なパラメータを持つドロップアウトデザインが有効なのか、どのようなタイプの学習に有効なのかといった観点から研究をすすめていきたいと考える。
|
| Causes of Carryover |
新型コロナのため, 打ち合わせ及び研究集会. 会議等がオンライン開催となり旅費の執行がなかったため
|
