Application of block designs to deep learning and their construction

2022 Fiscal Year Final Research Report

• Project/Area Number: 19K11866
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60030:Statistical science-related
• Research Institution: Tokyo University of Science
• Principal Investigator: Miyamoto Nobuko 東京理科大学, 理工学部情報科学科, 教授 (20318207)
• Co-Investigator(Kenkyū-buntansha): 三嶋 美和子 岐阜大学, 工学部, 教授 (00283284) ; 地嵜 頌子 大阪工業大学, 情報科学部, 講師 (90778250)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: 組合せデザイン / ディープラーニング / ドロップアウト / ドロップコネクト / 有限幾何 / 最適性

Outline of Final Research Achievements

In deep learning, dropout and drop-connect methods are commonly used techniques to prevent overfitting. We propose two types of combinatorial structures, dropout design (DD) and spanning bipartite block design (SBBD). These structures aim to balance the frequency of node usage and the way edges are connected, as opposed to randomly deactivating nodes and edges.
This study shows the construction methods of DD and SBBD, and SBBD exhibits certain optimality with respect to the accuracy of statistical model estimation.

Free Research Field

組合せデザイン理論

Academic Significance and Societal Importance of the Research Achievements

1920 年代に R.A. Fisher によって発展された実験計画法は，精度よく要因の効果を得ることを目的とした効率の良い実験の計画を与えるための統計的手法であり，農業実験から工業実験，マーケティングの分野で活用されてきた. 実験計画法では，ある種の均一性をもつ組合せ構造である直交配列やブロックデザインなどが用いられる. 本研究においてディープラーニングへ応用するために新しい組合せ構造を提案し, その有用性について検証したことは機械学習と実験計画法を繋ぐ新しいアプローチであると考える.