2021 Fiscal Year Research-status Report
力学系カオスに基づく時間的特徴抽出法の開発と動画像認識への応用
| Project/Area Number |
21K17772
|
|---|
| Research Institution | Chubu University |
|---|
Principal Investigator |
平川 翼 中部大学, AI数理データサイエンスセンター, 講師 (60846690)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 深層学習 / 再帰型ニューラルネットワーク / Network Pruning / 移動エントロピー / 時系列データ処理 |
|---|
| Outline of Annual Research Achievements |
本研究課題では，深層学習に基づく動作認識において，データの時間遷移に対する特徴を抽出するための深層学習技術の開発を目的としている．今年度は，実施計画書に記した研究方法の流れに従い，(1) 小規模な同画像データセットの作成および，(2) 時間変化に対する特徴抽出のための手法開発を実施した．
(1) 小規模動画像データセットの作成では，動画像認識におけるネットワークの挙動解析を想定し，Action MNIST DatasetおよびUIUC Video Datasetを作成した．Action MNIST Datasetでは，動画中で文字が移動しておりその移動カテゴリを推定するタスクを扱うデータセットである．一方，UIUC Video Datasetはテクスチャ分類の静止画像データセットであるUIUC Datasetを使用し，画像のテクスチャの移動方向を推定するデータセットとして構築した．
(2) 時間変化に対する特徴抽出では，時系列データにおける情報量の尺度である移動エントロピーを活用し，各ニューロン（重みパラメータ）の時間遷移に対する重要度を判定する方法を提案した．具体的には再帰型ニューラルネットワークの一種であるLong Short-Term Memory (LSTM) の各時刻の特徴量と正解クラスの分布を用いて移動エントロピーを求める．各ニューロンの移動エントロピーの解析により，情報量の小さいニューロンは，時系列データを考慮した特徴抽出をおこなっていることが明らかとなった．
この効果を定量的に評価するため，移動エントロピーを用いたLSTMの枝刈り手法を提案した．ここでは学習したLSTMの各ニューロンに対する移動エントロピーを算出し，移動エントロピーの大きなニューロンを枝刈りすることで，パラメータ数を削減しつつ認識精度の低下を抑制する手法を提案した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画書に記載した研究方法の流れに従い，予定通り2021年度の内容（小規模動画像認識データセットの作成，時間変化に対する特徴抽出手法の開発）を実施することができたため．
|
| Strategy for Future Research Activity |
2021年度は予定通り再帰型ニューラルネットワーク（LSTM）を対象モデルとして研究を遂行した．しかし，近年の急速な技術発達により，再帰型ネットワークが広く用いられる機械翻訳などの自然言語処理分野においてTransformerが新たな深層学習モデルとして提案されており，既に様々な研究が行われている．さらにTransformerは自然言語処理分野のみならず，画像認識分野にも応用されており，静止画像や動画像の分類タスクにおいて，従来の畳み込みニューラルネットワークや再帰型ニューラルネットワークよりも高い認識性能を達成している．
この技術発展の状況を踏まえ，今後の研究方針としてはTransformerを対象モデルとして研究を遂行する．対象モデルをLSTMからTransformerに変更しつつも，時間方向の情報遷移に対する有効な特徴抽出という研究方針は変えることなく，時間および空間情報に有用な特徴抽出手法の開発を行う．
|
