力学系カオスに基づく時間的特徴抽出法の開発と動画像認識への応用
| Project/Area Number |
21K17772
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Chubu University |
|---|
Principal Investigator |
平川 翼 中部大学, AI数理データサイエンスセンター, 講師 (60846690)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2021: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | 深層学習 / Transformer / Network Pruning / 大規模事前学習モデル / 再帰型ニューラルネットワーク / 移動エントロピー / 時系列データ処理 / 動画像認識 / 特徴抽出 / 力学系カオス |
|---|
| Outline of Research at the Start |
近年の画像認識技術の発達に伴い，動画像を用いた認識が盛んに行われている．このうち，畳み込みニューラルネットワークの技術的・理論的発展により，動画像フレームから有用な特徴を抽出することが可能となっているが，時間方向の特徴抽出に関しては，有用な特徴抽出が困難であるという問題が存在する．
この問題を解決するために，力学系カオスの概念を導入し，動画像の時間方向のデータ遷移を表現することのできる深層学習のネットワーク構造を開発する．開発した手法を様々な動画像認識タスクへ適用することで，動画像認識の高精度化を実現する．
|
| Outline of Annual Research Achievements |
本研究課題では，深層学習に基づく動作認識において，データの時間遷移に対する特徴を抽出するための深層学習技術の開発を目的としている．今年度は，近年，広く用いられているＴｒａｎｓｆｏｒｍｅｒを対象として，効果的な枝刈り手法の開発を進めた．Ｔｒａｎｓｆｏｒｍｅｒはｓｅｌｆ－ａｔｔｅｎｔｉｏｎと呼ばれる機構を導入した深層学習モデルの一つである．入力されたトークン（単語や動画フレーム，画像パッチなど）の間の関係性を考慮して最終的な推論結果を出力するモデルであり，高い性能を実現している．また，大規模な事前学習を行ったＴｒａｎｓｆｏｒｍｅｒモデルは，様々なタスクで高い性能を発揮する一方で，そのモデルサイズの大きさから下流タスクへ再学習する際に多大な計算コストを要する．本研究では，大規模なデータセットを用いて事前学習したモデルを下流タスクへ最適化する際，パラメータの値がほぼ変化しない傾向があることを予備実験により発見した．その傾向を考慮して，パラメータの値の大きさを直接評価する事前学習済みモデルに対するシングルショット非構造枝刈り手法を提案する．提案手法は，事前学習した様々なＴｒａｎｓｆｏｒｍｅｒモデルを，下流タスクに最適化する前に枝刈りすることで，下流タスクに最適化する計算コストを削減できる．これにより，計算リソースの限られた端末上での大規模モデルの活用を後押しできるとともに，時間と空間の両方に対する効果的な特徴表現の獲得に役立てることを可能とした．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画書に記載した研究方法の流れに従い，予定通り2022年度の内容(時間・空間に対する特徴抽出手法の開発)を実施することができたため．
|
| Strategy for Future Research Activity |
2022年度は，対象モデルをLSTMからTransformerに変更しつつ，時間および空間情報に有用な特徴抽出に役立つ枝刈り手法の開発をおこなった．
2023年度は，これまでに開発した枝刈り手法と大規模事前学習モデルを用いて，動画像認識タスクに関する大規模データセットでの効果を検証する．
|
Report
(2 results)
Research Products
(3 results)
