2022 Fiscal Year Research-status Report
力学系カオスに基づく時間的特徴抽出法の開発と動画像認識への応用
| Project/Area Number |
21K17772
|
|---|
| Research Institution | Chubu University |
|---|
Principal Investigator |
平川 翼 中部大学, AI数理データサイエンスセンター, 講師 (60846690)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 深層学習 / Transformer / Network Pruning / 大規模事前学習モデル |
|---|
| Outline of Annual Research Achievements |
本研究課題では，深層学習に基づく動作認識において，データの時間遷移に対する特徴を抽出するための深層学習技術の開発を目的としている．今年度は，近年，広く用いられているＴｒａｎｓｆｏｒｍｅｒを対象として，効果的な枝刈り手法の開発を進めた．Ｔｒａｎｓｆｏｒｍｅｒはｓｅｌｆ－ａｔｔｅｎｔｉｏｎと呼ばれる機構を導入した深層学習モデルの一つである．入力されたトークン（単語や動画フレーム，画像パッチなど）の間の関係性を考慮して最終的な推論結果を出力するモデルであり，高い性能を実現している．また，大規模な事前学習を行ったＴｒａｎｓｆｏｒｍｅｒモデルは，様々なタスクで高い性能を発揮する一方で，そのモデルサイズの大きさから下流タスクへ再学習する際に多大な計算コストを要する．本研究では，大規模なデータセットを用いて事前学習したモデルを下流タスクへ最適化する際，パラメータの値がほぼ変化しない傾向があることを予備実験により発見した．その傾向を考慮して，パラメータの値の大きさを直接評価する事前学習済みモデルに対するシングルショット非構造枝刈り手法を提案する．提案手法は，事前学習した様々なＴｒａｎｓｆｏｒｍｅｒモデルを，下流タスクに最適化する前に枝刈りすることで，下流タスクに最適化する計算コストを削減できる．これにより，計算リソースの限られた端末上での大規模モデルの活用を後押しできるとともに，時間と空間の両方に対する効果的な特徴表現の獲得に役立てることを可能とした．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画書に記載した研究方法の流れに従い，予定通り2022年度の内容(時間・空間に対する特徴抽出手法の開発)を実施することができたため．
|
| Strategy for Future Research Activity |
2022年度は，対象モデルをLSTMからTransformerに変更しつつ，時間および空間情報に有用な特徴抽出に役立つ枝刈り手法の開発をおこなった．
2023年度は，これまでに開発した枝刈り手法と大規模事前学習モデルを用いて，動画像認識タスクに関する大規模データセットでの効果を検証する．
|
Research Products
(2 results)
