| 研究実績の概要 |
申請者は，本事業において，マルチタスク学習（MTL, Multitask Learning）を行う深層学習器のアーキテクチャ，特に，物体の検出と意味領域分割，及び，物体の追跡と検出を行うMTLの開発を行ってきた．
2018年度はタスクの組み合わせやデータセットの選定を行い，2019年度は，提案するCross-Unitの改善を行い，MTLによる汎化性能の向上について検証した．2020年度は， Cross-UnitのConvolutionをConvLSTMで代替した，時系列データを処理するネットワークの設計に取り組み，性能を評価する予定であった．
2020年度は実際にそのようなネットワークを設計し，時系列で追跡しつつその物体が何であるかを分類するマルチタスクの処理を学習させた．これを，申請者が平成28~29年度で作成した鳥の動画や，既存のドローンの飛行動画に適応し，他手法と性能を比較した．その結果，分類を学習した特徴抽出器が追跡にも効果的に働き，既存の一般的な追跡器よりも追跡精度が高く，かつ，単純な検出器，追跡器と分類器の組み合わせ，空間情報を棄却するLSTMと追跡器の組み合わせ，などよりも，提案手法が高い精度を示した．提案手法による性能改善は中程度のサイズの物体で顕著であった．これは，データと，学習と追跡のしやすさの兼ね合いによる．これらの結果は海外雑誌の特集号に投稿され，不採択だったもののarxiv版に投稿を完了させた．時系列の処理を発展させ，行動予測にも応用し，この結果が国際会議に採択された．
また，MTLは一般に汎化性能を向上させることから，データの不足を補える可能性がある．このため，音声と動画のマルチタスク学習に着手し，複数のモダリティを学習するための基礎的な結果を得た．
|
