2021 Fiscal Year Annual Research Report
Comprehensible deep learning with the aid of sparse modeling
| Project/Area Number |
18K11487
|
|---|
| Research Institution | Fuzzy Logic Systems Institute |
|---|
Principal Investigator |
石川 眞澄 一般財団法人ファジィシステム研究所, 研究部, 特別研究員 (60222973)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 深層学習 / 積層自己符号化器 / スパースモデリング / 正則化 / 疎構造 / 情報圧縮 / ブラックボックス / 冗長表現 |
|---|
| Outline of Annual Research Achievements |
①深層学習の進展によりその認識性能は従来手法を凌駕したが、認識結果の理解が依然困難である。情報圧縮のための積層自己符号化器を対象として、深層学習へのスパースモデリング（SMと略）の導入により人の理解支援を目指す。
②(a)赤ワインデータ、(b)胎児心拍数陣痛計データ、(c)米国国勢調査データを対象とし、積層自己符号化器を貪欲学習により分割学習する。通常の自乗誤差評価に加え、正則化項として(1)結合重みのL1ノルム、(2)結合重みの選択的L1ノルム、(3)(2)に隠れ層出力の選択的L1ノルム、選択的L2ノルム、KL情報量、あるいは非対角共分散和を追加する。得られた疎構造モデルの入力から出力への経路に基づき、恒等写像と疑似恒等写像があること、及びこれら写像と情報損失の関係を明らかにした。また正則化項の有効性を評価するため、自乗誤差評価値と結合数からなるパレート最適曲線で作られる閉領域を定義し、その面積を正則化項の有効性評価に使うことを提案した。計算機実験によりSMで標準的に用いられている(1)よりも(2)が有効であり、(3)が一層有効であることを実証した。
③広範な応用可能性を有するクラス分類課題でSMの効果を実証するため(b)(c)を対象として正則化項(1)～(3)の有効性を評価し、②と同様の結論が得られた。
④主成分分析（PCA）で得られる各主成分も人が理解し難い。より高い説明力（累積寄与率）と関連変数の少なさという観点から主成分分析にSMを導入し、正則化項(1)～(3)を適用し、(b)を用いて(1)すなわち「スパースPCA」に対する(2)(3)の優位性を実証した。
⑤これまでいろいろな正則化項が提案されてきたが、それぞれの有効性を定量的に評価する研究は知る限りでは無い。②③④で各正則化項の有効性を評価したことには大きな意義があり、人の理解支援の観点からも極めて重要な成果である。
|
