研究課題/領域番号 |
21K17772
|
研究種目 |
若手研究
|
配分区分 | 基金 |
審査区分 |
小区分61010:知覚情報処理関連
|
研究機関 | 中部大学 |
研究代表者 |
平川 翼 中部大学, AI数理データサイエンスセンター, 講師 (60846690)
|
研究期間 (年度) |
2021-04-01 – 2024-03-31
|
研究課題ステータス |
交付 (2022年度)
|
配分額 *注記 |
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2023年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2022年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2021年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
|
キーワード | 深層学習 / Transformer / Network Pruning / 大規模事前学習モデル / 再帰型ニューラルネットワーク / 移動エントロピー / 時系列データ処理 / 動画像認識 / 特徴抽出 / 力学系カオス |
研究開始時の研究の概要 |
近年の画像認識技術の発達に伴い,動画像を用いた認識が盛んに行われている.このうち,畳み込みニューラルネットワークの技術的・理論的発展により,動画像フレームから有用な特徴を抽出することが可能となっているが,時間方向の特徴抽出に関しては,有用な特徴抽出が困難であるという問題が存在する. この問題を解決するために,力学系カオスの概念を導入し,動画像の時間方向のデータ遷移を表現することのできる深層学習のネットワーク構造を開発する.開発した手法を様々な動画像認識タスクへ適用することで,動画像認識の高精度化を実現する.
|
研究実績の概要 |
本研究課題では,深層学習に基づく動作認識において,データの時間遷移に対する特徴を抽出するための深層学習技術の開発を目的としている.今年度は,近年,広く用いられているTransformerを対象として,効果的な枝刈り手法の開発を進めた.Transformerはself-attentionと呼ばれる機構を導入した深層学習モデルの一つである.入力されたトークン(単語や動画フレーム,画像パッチなど)の間の関係性を考慮して最終的な推論結果を出力するモデルであり,高い性能を実現している.また,大規模な事前学習を行ったTransformerモデルは,様々なタスクで高い性能を発揮する一方で,そのモデルサイズの大きさから下流タスクへ再学習する際に多大な計算コストを要する.本研究では,大規模なデータセットを用いて事前学習したモデルを下流タスクへ最適化する際,パラメータの値がほぼ変化しない傾向があることを予備実験により発見した.その傾向を考慮して,パラメータの値の大きさを直接評価する事前学習済みモデルに対するシングルショット非構造枝刈り手法を提案する.提案手法は,事前学習した様々なTransformerモデルを,下流タスクに最適化する前に枝刈りすることで,下流タスクに最適化する計算コストを削減できる.これにより,計算リソースの限られた端末上での大規模モデルの活用を後押しできるとともに,時間と空間の両方に対する効果的な特徴表現の獲得に役立てることを可能とした.
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
研究計画書に記載した研究方法の流れに従い,予定通り2022年度の内容(時間・空間に対する特徴抽出手法の開発)を実施することができたため.
|
今後の研究の推進方策 |
2022年度は,対象モデルをLSTMからTransformerに変更しつつ,時間および空間情報に有用な特徴抽出に役立つ枝刈り手法の開発をおこなった. 2023年度は,これまでに開発した枝刈り手法と大規模事前学習モデルを用いて,動画像認識タスクに関する大規模データセットでの効果を検証する.
|