2020 Fiscal Year Research-status Report
Convolutional sparse representation of l1 norm error criterion and its development for distributed video coding and deep learning
| Project/Area Number |
20K11878
|
|---|
| Research Institution | Kurume National College of Technology |
|---|
Principal Investigator |
黒木 祥光 久留米工業高等専門学校, 制御情報工学科, 教授 (60290847)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 畳み込み型スパース表現 / 分散圧縮符号化 / 深層学習 / 凸最適化 |
|---|
| Outline of Annual Research Achievements |
現在のAIブームは，畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）が画像の分類問題において，既存の手法を凌駕したことを嚆矢とする．CNNは，画像の特徴を表す畳み込みフィルタと，フィルタを畳み込むことによって生じる特徴マップの組を多層化することによって構成されている．CNNの学習は，入力画像と所望の出力，例えばクラス分類であれば，one-hotと呼ばれる当該クラス番号だけを1，他を0とするベクトルの組を多数与え，誤差を少なくすることによって実現される．
本研究で着目する畳み込み型スパース表現は，CNNと異なり，畳み込みフィルタと特徴マップに相当するフィルタ係数によって画像を近似する方法であり，少数の画像でフィルタを設計できる．また，フィルタ係数の大部分がゼロで，局所的に非ゼロとなる，つまり，スパース（疎）となるようにフィルタおよびフィルタ係数を求めることができる．ここで，最適なフィルタを求める評価関数は，近似誤差を表す損失項とスパース性を表す正則化項の加重和で与えられる．
本年度は，近似誤差における外れ値，つまり，近似が困難であるためにフィルタの設計に影響を与える画像，への頑健性を向上させるため，損失項を一般的な2乗誤差では無く，L1ノルムと呼ばれる絶対値和で評価し，以下の実績を残した．(1)大規模データに対してメモリ消費量が少なく，高速にフィルタを設計できるコンセンサス方式を実現した．(2)分散圧縮符号化における提案法の優位性を確認した．(3)フィルタとフィルタ係数の組を2層化したネットワークを作り，それと同じ構造のCNNと画像の分類精度比較し，提案法の優位性を確認した．上記の(1)と(2)は次年度に発表予定である．(3)は査読付の国際会議で発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
「研究実績の概要」に示した通り，L1ノルム損失における畳み込み型スパース表現自体の効率化（実績1），分散圧縮符号化への応用（実績2），深層学習への応用（実績3）を残しているため，上記の判断をした．実績1および2については，論文を準備中であるが，既存法と比べて優位な成果を確認しているため，査読付の国際会議で採択されると予想している．
|
| Strategy for Future Research Activity |
深層学習への応用については実績3が僅か2層のネットワークにおける比較であるため，より大規模なネットワークで検証する．既存の方法では大規模データに対してフィルタを設計することが困難であったが，実績1により，高速化と画像の枚数に依存しないメモリ容量における計算方法を実現したため，それを大規模データにおける分散圧縮符号化と深層学習に応用する予定である．
|
| Causes of Carryover |
新型コロナ感染症の影響で学会発表の旅費を使用しなかったのが理由である．少額であり，物品費の一部として使用する予定である．
|
