| Project/Area Number |
21K17772
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Chubu University |
|---|
Principal Investigator |
Hirakawa Tsubasa 中部大学, AI数理データサイエンスセンター, 講師 (60846690)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2021: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | 深層学習 / Transformer / Network Pruning / 大規模事前学習モデル / 基盤モデル / 再帰型ニューラルネットワーク / 移動エントロピー / 時系列データ処理 / 動画像認識 / 特徴抽出 / 力学系カオス |
|---|
| Outline of Research at the Start |
近年の画像認識技術の発達に伴い，動画像を用いた認識が盛んに行われている．このうち，畳み込みニューラルネットワークの技術的・理論的発展により，動画像フレームから有用な特徴を抽出することが可能となっているが，時間方向の特徴抽出に関しては，有用な特徴抽出が困難であるという問題が存在する．
この問題を解決するために，力学系カオスの概念を導入し，動画像の時間方向のデータ遷移を表現することのできる深層学習のネットワーク構造を開発する．開発した手法を様々な動画像認識タスクへ適用することで，動画像認識の高精度化を実現する．
|
| Outline of Final Research Achievements |
In this research project, we proposed a method for extracting important features or parameters for deep learning models, especially for deep learning models that require temporal information transitions, such as video data. Specifically, we proposed an effective feature extraction method for Long Short-Term Memory (LSTM), which has been widely used in deep learning models for series data, and for Transformer and Vision Transformer (ViT), which have achieved high recognition accuracy in recent years and are widely used. We proposed a branch-and-branch pruning method for feature extraction.
|
| Academic Significance and Societal Importance of the Research Achievements |
本プロジェクトにおいて開発した枝刈り技術は，深層学習モデル内の冗長なパラメータを削除することで，近年，大規模化するネットワークモデルをコンパクト化・省電力化することが可能な技術である．そのため，高性能な画像認識モデルを大規模な計算機を用いることなく様々な画像認識データに対して適用することが可能となる．
|
