2022 Fiscal Year Annual Research Report
ブロックデザインのディープラーニングへの応用とその構成
| Project/Area Number |
19K11866
|
|---|
| Research Institution | Tokyo University of Science |
|---|
Principal Investigator |
宮本 暢子 東京理科大学, 理工学部情報科学科, 教授 (20318207)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
三嶋 美和子 岐阜大学, 工学部, 教授 (00283284)
地嵜 頌子 大阪工業大学, 情報科学部, 講師 (90778250)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | dropout design / SBBD / deep learning / block design |
|---|
| Outline of Annual Research Achievements |
深層学習において，過学習を避けるための手法としてドロップアウト法およびドロップコネクト法がある.これらは学習の度にランダムに非活性化させるノード(コネクション)を選び，毎回異なる重み付けをすることで汎化性能を高める手法である.本研究では, ドロップアウト法とドロップコネクト法でランダムにノードや辺を不活性化する代わりに, ノードの使用頻度, 辺の結合の仕方をバランスさせた 2 種類の組合せ構造 dropout design (DD)及び spanning bipartite block design (SBBD)を提案した. これらは実験計画法や組合せ理論で発展した理論や技法を導入することで深層学習においてより良い学習を行うための計画を与える新しいアプローチであると言える.
DDは, 実験計画法におけるブロック分割をもつ一部実施二元配置実験のために1980年代に提案された incomplete split-block design を多層ニューラルネットワークの構造に合うように 2 つ以上の点集合（層）をもつように拡張したものである.
直交配列や有限射影幾何, 有限アフィン幾何を用いてDDの構成法を与えた.
SBBDは, ある条件を満たす完全二部グラフの部分グラフをブロックとして考えた結合構造である. この結合行列から得られる情報行列は完全二重対称という綺麗な性質をもち，group divisible designとも関係がある. SBBDを用いた統計モデルのパラメータの推定精度に関して, variance balanced であること, さらにある条件を満たすSBBDに対してはA最適性を満たすことを示した. 特に, 最適性に関しては最終年度を中心に取り組んだ研究結果である.
|
