| Project/Area Number |
18K11487
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Fuzzy Logic Systems Institute |
|---|
Principal Investigator |
Ishikawa Masumi 一般財団法人ファジィシステム研究所, 研究部, 特別研究員 (60222973)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2020: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2019: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2018: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
|
|---|
| Keywords | 深層学習 / 積層自己符号化器 / スパースモデリング / 正則化 / 疎構造 / 情報圧縮 / ブラックボックス / 冗長表現 / 理解できるAI / L1ノルム / ニューラルネットワーク / 人工知能 / 理解可能性 |
|---|
| Outline of Final Research Achievements |
Deep learning has a serious drawback in that the resulting models tend to be a black box. A sparse modeling approach applied to stacked autoencoders for information compression is expected to ameliorate the drawback. I propose to use the concept of Pareto optimality composed of data fitting and the sparseness of models for judging the effectiveness of regularization terms. Based on it, I demonstrate that compared to (a)the popular L1-norm of connection weights, (b)the selective L1-norm of connection weights is more effective, and that the addition of (c)the selective L1 norm, (d)the selective L2 norm, (e)KL-divergence, or (f)off-diagonal squared covariances of hidden outputs are still more effective. The resulting sparse structure of stacked autoencoders enables the clarification of information compression mechanism composed of identity mappings and pseudo-identity mappings. It further clarifies the relation between mappings and information loss, and contributes to human understanding.
|
| Academic Significance and Societal Importance of the Research Achievements |
スパースモデリングに用いられる正則化項がいろいろ提案されてきたが、知る限りではこれらの有効性を評価する方法が無かった。本研究はデータ適合度及びスパース度（結合数）からなるパレート最適性の概念を利用して正則化項の有効性指標を提案し、大規模実データを用いてその有効性を実証した点に研究成果の学術的意義がある。
正則化項の有効性指標を用いてその有効性を評価し、少なくとも積層自己符号化器において最も有効な正則化項群による学習結果を人が理解することを可能とし、またクラス分類課題においても同様のアプローチで疎構造を得ることができ、人に理解できる人工知能への第一歩を示せた点に研究成果の社会的意義がある。
|
