2019 Fiscal Year Research-status Report
タスク指向画像処理のための深層学習と，遠方歩行者認識への応用
| Project/Area Number |
19K12129
|
|---|
| Research Institution | Toyota Technological Institute |
|---|
Principal Investigator |
浮田 宗伯 豊田工業大学, 工学(系)研究科(研究院), 教授 (20343270)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
Muhammad Haris 豊田工業大学, 工学(系)研究科(研究院), ポストドクトラル研究員 (60816643) [Withdrawn]
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 画像超解像 / 物体検出 |
|---|
| Outline of Annual Research Achievements |
２０１９年度は，静止画超解像の高性能化と，その動画像超解像への拡張を主な研究テーマとした．両テーマ共に，最終目標である「超解像を利用した物体検出の高性能化」の前段階としての超解像処理である．
科研費研究開始前の事前準備で，既に静止画超解像は独自の技術を開発し，世界的な競技会で１位の成績を収めていた．しかし，その超解像倍率は最大でも縦横４倍（すなわち，面積比で１６倍の超解像）までで性能評価されており，さらなる超解像倍率での性能検証を実施できていなかった．２０１９年度は，縦横１６倍，すなわち面積比で２５６倍の超解像の性能検証を実施した．その成果は，世界的な競技会（画像認識分野のトップカンファレンスであるICCV併催のワークショップ）で２位の成績を収めることができた．この超解像倍率は，科研費申請書で目標として掲げていた縦横８倍をさらに上回る倍率である．
動画超解像では，静止画超解像で提案した独自の技術（Multi-Image Super-Resolution のためのバックプロジェクションを，深層学習による Single-Image Super-Resolution へと拡張した手法）を動画像超解像へと拡張した．関連他手法の深層学習による動画像超解像では，動画像の連続フレームを単純に再帰型深層学習器へと入力するものがほとんどであるが，提案手法では，「超解像対象である各フレーム」と「その対象フレームの近傍フレーム」のペアを再帰型深層学習器で学習している．これによって，見た目が類似している近傍フレーム間の重ね合わせによる超解像の高性能化に成功している．
また，最終目標である超解像を利用した物体検出に関しても，ベースラインとなる手法を開発できた．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
科研費研究実施前の準備段階同様，提案手法の有効性は，分野トップの国際会議に採択され，また，トップ国際会議併催の超解像協議会でも好成績を収めることができている．
|
| Strategy for Future Research Activity |
超解像を利用した物体検出を研究する．２０１９年度時点で，ベースラインとなる「超解像と物体検出の同時学習による物体検出の高性能化」は実現できた．２０２０年度は，その成果を論文化，公表し，更なる高性能化を実現していく．
高性能化に関する具体案を以下に述べる．車載カメラで撮影される多様なシーンでは，歩行者という同一クラスの物体でも，様々な距離・スケールで観測されている．よって，その距離・スケールによって，２倍超解像からの検出が適していたり，４倍超解像からの検出が適していたりするように，適切な超解像倍率は異なっている．この特性を考慮して，各物体に最適な倍率での超解像物体検出を実現する．
また，実応用を踏まえ，低コストなカメラで撮影された映像からでも物体の動き推定に足る超解像映像を得るため，空間超解像に加え，時間超解像（すなわち，フレーム補間）を実現する手法を研究していく．
|
| Causes of Carryover |
２０１９年度は，物体検出の前段階である超解像の高性能化に注力し，物体検出の研究に必要な機械学習用教師データアノテーションの謝金がほとんど不要であったため．
|
