2019 Fiscal Year Research-status Report
ブロックデザインのディープラーニングへの応用とその構成
| Project/Area Number |
19K11866
|
|---|
| Research Institution | Tokyo University of Science |
|---|
Principal Investigator |
宮本 暢子 東京理科大学, 理工学部情報科学科, 教授 (20318207)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
三嶋 美和子 岐阜大学, 工学部, 教授 (00283284)
地嵜 頌子 東京理科大学, 理工学部情報科学科, 助教 (90778250)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | ドロップアウトデザイン / ディープラーニング / ドロップアウト |
|---|
| Outline of Annual Research Achievements |
ディープラーニングにおいて過学習を避けるための手法の一つとしてドロップアウトがある。これは学習の度にランダムに非活性化させるノードを選び、毎回異なる重み付けをすることで汎化性能を高める手法である。本研究ではドロップアウト法に統計的実験計画法で用いられるブロックデザインを活用するため、ドロップアウトデザインと呼ばれる新しいデザインを定義した。ドロップアウトデザインは、2因子実験における統計モデルとしての最適性を保持するsplit block design と呼ばれるブロックデザインを拡張したものであり、各層の各ノードが等頻度で学習に組み込まれるだけでなく、各層のノード間を結ぶ辺の出現頻度を均一にするような特性を持つデザインである。研究目的として(1)ドロップアウトデザインの構成手法の提案, (2)ドロップアウトデザインの有効性の検証がある。
(1)について、有限アフィン幾何および射影幾何の結合構造を利用したドロップアウトデザインの構成法を提案した( Combinatorial designs for deeplearning: https://doi.org/10.1002/jcd.21720)。また学習に用いる際に、層の数を柔軟に対応できるようドロップアウトデザインの性質を整理し、その条件を満たすドロップアウトデザインの構成も行った。
(2)について、データセットはCIFAR-10と, 一様分布からランダムサンプリングしたデータに対して作成した，10クラス分類用データセットの2種類を準備し、ネットワークとして多層パーセプトロンと畳み込みニューラルネットワークの2種類を用い、dropout designを用いた学習, ランダムなdropout法を用いた学習, dropout法を使わない学習の3つに対する実験を行っている途中である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
ドロップアウトデザインの構成手法の提案については、これまで順調に進んでいるといえる。一方、ドロップアウトデザインの有用性の検証は、実験のための準備に時間がかかること、またどのように学習にデザインを適応するのか、評価はどのようにするのかについて不確定な要素が多い。現在実験結果については, 訓練データに対する損失, テストデータに対する損失, 訓練精度, テスト精度を収集しているが、 10回の繰り返し実験を行なっているため一つの計算機実験に要する時間も長くかかっており計画としてはやや遅れている状況となっている。
|
| Strategy for Future Research Activity |
ドロップアウトデザインの構成手法を様々なパラメータで提案し、各ドロップアウトデザインを用いた学習を行う実験のデータを比較検証することで、どのようなパラメータを持つドロップアウトデザインが有効なのか、どのようなタイプの学習に有効なのかといった観点から研究をすすめていきたいと考える。
|
| Causes of Carryover |
研究分担者が2021年度に異動することが決まり、2021年度は打ち合わせのための旅費が予算より必要となることがわかったため、2020年度から2021年度への繰越を行った。
|
Research Products
(5 results)
