2021 Fiscal Year Research-status Report
ブロックデザインのディープラーニングへの応用とその構成
| Project/Area Number |
19K11866
|
|---|
| Research Institution | Tokyo University of Science |
|---|
Principal Investigator |
宮本 暢子 東京理科大学, 理工学部情報科学科, 教授 (20318207)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
三嶋 美和子 岐阜大学, 工学部, 教授 (00283284)
地嵜 頌子 大阪工業大学, 情報科学部, 講師 (90778250)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | ドロップアウトデザイン / ディープラーニング / ブロックデザイン / ドロップアウト法 |
|---|
| Outline of Annual Research Achievements |
ディープラーニングにおいて過学習を避けるための手法の一つとしてドロップアウトがある。これは学習の度にランダムに非活性化させるノードを選び、毎回異なる重み付けをすることで汎化性能を高める手法である。本研究ではドロップアウト法に統計的実験計画法で用いられるブロックデザインを活用するため、ド ロップアウトデザインと呼ばれる新しいデザインを定義した。ドロップアウトデザインは、2因子実験における統計モデルとしての最適性を保持するsplit block design と呼ばれるブロックデザインを拡張したものであり、各層の各ノードが等頻度で学習に組み込まれるだけでなく、各層のノード間を結ぶ辺の出現頻度を 均一にするような特性を持つデザインである。研究目的として(1)ドロップアウトデザインの構成手法の提案, (2)ドロップアウトデザインの有効性の検証があ る。
(1)について、層数を任意に設定できるようにするため巡回性をもつドロップアウトデザインを定義し, その構成法をアフィン幾何を用いて提案した。
(2)について、データセットはCIFAR-10と, 一様分布からランダムサンプリングしたデータに対して作成した，10クラス分類用データセットの2種類を準備し、 ネットワークとして多層パーセプトロンと畳み込みニューラルネットワークの2種類を用い、dropout designを用いた学習, ランダムなdropout法を用いた学習, dropout法を使わない学習の3つに対する実験を行った。訓練データに対する損失, テストデータに対する損失, 訓練精度, テスト精度の解析を行っている途中段階である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
2020年度, 21年度とコロナ禍による教育の様式変化に対応するため，当初の予定通りの研究時間を創出すること, また研究打ち合わせ，成果発表などを行うことができなかった。また，ドロップアウトデザインを用いた実験においては，繰り返し実験データを得るのに時間を要することや，種々の設定（設定条件などを変化させて）において試すことにも時間を要していることから研究期間の延長を行った．
|
| Strategy for Future Research Activity |
これまでと同様に様々なパラメータをもつドロップアウトデザインの構成手法をの提案を考える。また，各ドロップアウトデザインを用いた学習を行う実験のデータを比較検証することで、どのようなパラメータを持つドロップアウトデザインが有効なのか、どのようなタイプの学習に有効なのかといった観点からさらに研究をすすめていきたいと考える。
|
| Causes of Carryover |
ロナ禍の影響により当初の研究計画に比べて進捗状況が遅れているため，次年度への研究延長を申請した．2022年度は研究打ち合わせ，学会発表等計画通り遂行予定である．
|
Research Products
(3 results)
