2019 Fiscal Year Research-status Report
Comprehensible deep learning with the aid of sparse modeling
| Project/Area Number |
18K11487
|
|---|
| Research Institution | Fuzzy Logic Systems Institute |
|---|
Principal Investigator |
石川 眞澄 一般財団法人ファジィシステム研究所, 研究部, 特別研究員 (60222973)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 深層学習 / 積層自己符号化器 / スパースモデリング / 情報圧縮 / ブラックボックス / 冗長表現 |
|---|
| Outline of Annual Research Achievements |
①平成30年度に構築した自己符号化器（以下AE(autoencoder)と略す）に基づいて、令和元年度には赤ワインデータを用いて、スパースモデリングによる5層の積層AEを構築した。平成30年度の3層AEの隠れ層出力をより小さなAEの入力及び出力目標とし、後者をスパースモデリングを用いて学習する。これら２種類のAEを積み重ねて積層AEの初期値とし、スパースモデリングによりさらに学習する。得られた積層AEにおいて、入力層から出力層までの経路を辿ることにより、恒等写像及び疑似恒等写像の組み合わせからなる情報圧縮の内部構造を明らかにした。また隠れ層ニューロンが何を表現しているかを明確にし、深層学習のブラックボックス化を脱することに成功した。積層AEの内部構造を明示し意味を付与した研究は知る限りでは他に無い。
②隠れニューロン間の相関が零という帰無仮説の統計的検定により、冗長表現の有無の判定を提案した。一個の入力ニューロンが複数の隠れニューロンと結びついているのが冗長表現の典型例である。ただ冗長でない場合も、入力データの属性間に存在する相関のため統計的検定により帰無仮説が棄却される。これを避けるため、属性間が無相関のランダム入力を用いて統計的検定の有効性を実証したことは、大きな意義がある。
③科研費申請書ではもっぱら積層AEを対象とした研究計画を記載したが、研究課題は「スパースモデリングの導入による人が理解できる深層学習」である。胎児心拍数陣痛計データのクラス分類課題にスパースモデリングを適用した。様々な正則化項が提案されているが、データ適合度及びスパース度という二つの評価軸からなるパレート最適性の概念を正則化項の有効性の評価基準とすることを提案し、正則化項を選定した。正則化項の評価という観点から、パレート最適性概念は深層学習における有効かつ重要な提案である。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
平成30年度には３層の自己符号化器のスパースモデリングを用いた学習を赤ワインデータに対して適用し、スパース化および隠れニューロンの意味づけを可能とした。令和元年度には「研究実績の概要」の①②に示した研究業績を挙げた。これらが研究計画上、最初の２年間の予想される成果に相当している。これに加えて「研究実績の概要」の③に示した研究業績を挙げたので、「当初の計画以上に進展している」と判断した。
|
| Strategy for Future Research Activity |
①令和元年度までは12属性からなる赤ワインデータを用いたが、より複雑な課題として21属性からなる胎児心拍数陣痛計データを用いて積層自己符号化器を学習することを考えている。属性数が２倍弱のデータを用いて、赤ワインデータと同様に解釈可能な積層自己符号化器が得られることを検証する。
②さらに複雑なデータを用いて、スパースモデリングによる積層自己符号化器を学習させ、意味があり解釈可能な結果が得られることを検証する。
③データサイエンス分野の課題の一つにデータの特徴を抽出する課題があり、この方法として主成分分析（PCA）が広く用いられている。PCAは各主成分に殆どすべての属性が含まれており、主成分の特徴を理解するのが困難である。スパースPCAはPCAにスパースモデリングを適用しこの課題を解決しようとする分野である。スパースモデリングとしてL1ノルムを用いるが、これは２次計画問題に帰着し、次元数が大きい場合に計算量が膨大となる。計算量を削減するさまざまな方法が提案されている。自己符号化器も実はPCAとみなすことが可能であり、スパースPCAにおけるL1ノルムだけでなく、より効果的な選択的L1ノルムも用いることができる。より高い説明力（PCAの用語では累積寄与率）と関連属性の少なさという二つの観点から、スパースPCAよりも優れた性能を有する自己符号化器をスパースモデリングを用いた学習により求められると考えている。③は科研費申請書の研究計画には含まれていないが、科研費研究課題の「人が理解できる深層学習」の基盤技術として意義の大きな技術開発課題であると考えている。
|
| Causes of Carryover |
令和元年度３月に２回の学会出張を予定していたが、新型コロナウイルスによる感染拡大のため二つの学会ともキャンセルとなり未使用額が増大した。翌年度には研究成果を発表するための学会出張を増やすことなどにより助成金を効果的に使用したいと考えている。
|
