Application of block designs to deep learning and their construction
| Project/Area Number |
19K11866
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60030:Statistical science-related
|
|---|
| Research Institution | Tokyo University of Science |
|---|
Principal Investigator |
Miyamoto Nobuko 東京理科大学, 理工学部情報科学科, 教授 (20318207)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
三嶋 美和子 岐阜大学, 工学部, 教授 (00283284)
地嵜 頌子 大阪工業大学, 情報科学部, 講師 (90778250)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
Fiscal Year 2021: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2020: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2019: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | 組合せデザイン / ディープラーニング / ドロップアウト / ドロップコネクト / 有限幾何 / 最適性 / dropout design / SBBD / deep learning / block design / ドロップアウトデザイン / ブロックデザイン / ドロップアウト法 |
|---|
| Outline of Research at the Start |
ディープラーニングにおいて，過学習を避けるための手法の一つとしてドロップアウト法がある。これは学習の度にランダムに非活性化させるノードを選び毎回異なる重み付けをすることで汎化性能を高める手法である。
本研究では、このドロップアウト法に統計的実験計画法で用いられるブロックデザインの活用を提案する。２因子実験における統計モデルとしての最適性を保持するsplit block designと呼ばれるブロックデザインを拡張し，ドロップアウトデザインと呼ばれるブロックデザインを提案し，その構成手法を与え、ディープラーニングの学習での有効性を検証することが本研究の目的である．
|
| Outline of Final Research Achievements |
In deep learning, dropout and drop-connect methods are commonly used techniques to prevent overfitting. We propose two types of combinatorial structures, dropout design (DD) and spanning bipartite block design (SBBD). These structures aim to balance the frequency of node usage and the way edges are connected, as opposed to randomly deactivating nodes and edges.
This study shows the construction methods of DD and SBBD, and SBBD exhibits certain optimality with respect to the accuracy of statistical model estimation.
|
| Academic Significance and Societal Importance of the Research Achievements |
1920 年代に R.A. Fisher によって発展された実験計画法は，精度よく要因の効果を得ることを目的とした効率の良い実験の計画を与えるための統計的手法であり，農業実験から工業実験，マーケティングの分野で活用されてきた. 実験計画法では，ある種の均一性をもつ組合せ構造である直交配列やブロックデザインなどが用いられる. 本研究においてディープラーニングへ応用するために新しい組合せ構造を提案し, その有用性について検証したことは機械学習と実験計画法を繋ぐ新しいアプローチであると考える.
|
Report
(5 results)
Research Products
(15 results)
