| 研究実績の概要 |
ディープラーニングにおいて過学習を避けるための手法の一つとしてドロップアウトがある。これは学習の度にランダムに非活性化させるノードを選び、毎回異なる重み付けをすることで汎化性能を高める手法である。本研究ではドロップアウト法に統計的実験計画法で用いられるブロックデザインを活用するため、ド ロップアウトデザインと呼ばれる新しいデザインを定義した。ドロップアウトデザインは、2因子実験における統計モデルとしての最適性を保持するsplit block design と呼ばれるブロックデザインを拡張したものであり、各層の各ノードが等頻度で学習に組み込まれるだけでなく、各層のノード間を結ぶ辺の出現頻度を 均一にするような特性を持つデザインである。研究目的として(1)ドロップアウトデザインの構成手法の提案, (2)ドロップアウトデザインの有効性の検証があ る。
(1)について、層数を任意に設定できるようにするため巡回性をもつドロップアウトデザインを定義し, その構成法をアフィン幾何を用いて提案した。
(2)について、データセットはCIFAR-10と, 一様分布からランダムサンプリングしたデータに対して作成した，10クラス分類用データセットの2種類を準備し、 ネットワークとして多層パーセプトロンと畳み込みニューラルネットワークの2種類を用い、dropout designを用いた学習, ランダムなdropout法を用いた学習, dropout法を使わない学習の3つに対する実験を行った。訓練データに対する損失, テストデータに対する損失, 訓練精度, テスト精度の解析を行っている途中段階である。
|
