2021 Fiscal Year Research-status Report
Convolutional sparse representation of l1 norm error criterion and its development for distributed video coding and deep learning
| Project/Area Number |
20K11878
|
|---|
| Research Institution | Kurume National College of Technology |
|---|
Principal Investigator |
黒木 祥光 久留米工業高等専門学校, 制御情報工学科, 教授 (60290847)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 畳み込み型スパース表現 / 分散圧縮符号化 / 深層学習 / 凸最適化 |
|---|
| Outline of Annual Research Achievements |
現在のAIブームは，畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）が画像の分類問題において，既存の手法を凌駕したことを嚆矢とする．CNNは，画像の特徴を表す畳み込みフィルタと，フィルタを畳み込むことによって生じる特徴マップの組を多層化することによって構成されている．CNNの学習は，入力画像と所望の出力，例えばクラス分類であれば，one-hotと呼ばれる当該クラス番号だけを1，他を0とするベクトルの組を多数与え，誤差を少なくすることによって実現される．
本研究で着目する畳み込み型スパース表現は，CNNと異なり，畳み込みフィルタと特徴マップに相当するフィルタ係数によって画像を近似する方法であり，少数の画像でフィルタを設計できる．また，フィルタ係数の大部分がゼロで，局所的に非ゼロとなる，つまり，スパース（疎）となるようにフィルタおよびフィルタ係数を求めることができる．ここで，最適なフィルタを求める評価関数は，近似誤差を表す損失項とスパース性を表す正則化項の加重和で与えられる．
詳細は後述するが，本年度は近似誤差における外れ値のフィルタ設計への頑健性を向上させるため，損失項をL1ノルムと呼ばれる絶対値和で評価し，コンセンサス方式，つまり個別の画像に特化したフィルタを一旦作成し，それを統合することにより，大規模データに対してメモリ消費量が少なく，高速にフィルタを設計する手法を開発した．また，凸最適化問題のソルバーを一般的に用いられるADMMからDouglas-Rachford分割に変更することによる高速化，分散圧縮化やCNNの初期値への応用などに関する成果を残すことができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究2年目となる本年度は，(1)コンセンサス方式を用いた大規模画像での成果，(2)L1誤差の評価をHuber関数で代替することによるスパース性の向上，(3)スパース係数に錐制約型部分空間法を適用することによるCNNより高精度な画像分類，（4)CNNを参考にした2層のネットワークにおける小規模データにおけるCNNより高精度な画像分類，(5)本手法で小規模なCNNの初期値を求め，少数学習画像における認識率の向上，(6)のソルバーをADMMからDouglas-Rachford分割に変更することによる高速化，(7)分散圧縮符号化への適用，に関する成果を残した．上記の(1)から(4)は査読付国際会議で，(5)は国際シンポジウムで発表した．(6)および(7)は令和4年度に査読付国際会議で発表する予定である．
|
| Strategy for Future Research Activity |
大規模な学習用画像におけるフィルタの設計方法を確立できたため，大規模な学習画像を用いた大規模ネットワークにおける本手法の有効性を検証したい．また，分散圧縮符号化のキーフレームの辞書設計も行う．
令和4年度は本研究の最終年度であるため，今後の展開も見据え，グラフ信号に関する応用についても視野に入れて検討する予定である．
|
| Causes of Carryover |
前者の理由は新型コロナ感染症により学会がすべて遠隔で実施され，旅費の経費がゼロになったためである．発表すべき研究成果は既に得ているため，翌年度分として請求した金額と合わせ，旅費や学会参加費等にて使用する予定である．
|
