2021 Fiscal Year Research-status Report

圧縮型ロバスト動的モード分解に基づく動画像成分分離とその応用

Research Project

Project/Area Number	21K17767
Research Institution	The University of Kitakyushu
Principal Investigator	松岡諒北九州市立大学, 国際環境工学部, 准教授 (40780391)
Project Period (FY)	2021-04-01 – 2024-03-31
Keywords	動的モード分解 / スパースコーディング / 動画像復元
Outline of Annual Research Achievements	本研究課題では、背景の動きや不要な映り込みに頑健な動画像成分分離技術の開発を目的とし、圧縮センシングやスパースモデリング技術を動的モード分解（DMD）法に高度に融合した超高効率な前景背景分離アルゴリズムの確立を目指している。この目的を踏まえ、構成フェーズ、解析フェーズ、応用フェーズの3フェーズで研究を進める。令和３年度は、構成フェーズに関して検討を行った。具体的には、緩やかな動きのある背景や複数の動的成分を有するシーンの前景背景分離問題を動的モード分解をベースに定式化し、効率的に解くアルゴリズムの構築を行った。動的モード分解は、動画像の前景背景分離によく用いられているが、ノイズの多い動画像に対して前景背景分離を行った場合、動的モードがノイズによって劣化するため、ノイズの多い前景と背景が得られる。そのようなシーンでは、画像認識などの精度が著しく低下する恐れがある。そこで、動的モードの分解を介した前景背景分離においてノイズも同時に分離するアルゴリズムの構築を行った。具体的には、動的モードと再構成動画像のノイズを同時に低減するために、既存のデノイザを汎用的に利用可能なPlug-and-playアルゴリズムをベースとして最小化問題を定式化した。そして、定式化した最小化問題を、Plug-and-Play Alternating Direction Method of Multipliersに基づくアルゴリズムを適用することで効率的に解く方法を確立した。提案手法により、ノイズにより劣化した動画像からノイズを含まない動的モード成分を推定することができ、それらを用いてノイズのない背景成分と前景成分を再構成することができる。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 当初の計画通り、構成フェーズ（令和３年度）「緩やかな動きのある背景や複数の動的成分を有するシーンの前景/背景分離問題をDMDをベースに定式化し、効率的に解くアルゴリズムを構築」に関しておおむね計画通りに進捗している。また、関連する成果に関しては、信号処理に関する国際会議Asia-Pacific Signal and Information Processing Association, Annual Summit and Conference (APSIPA ASC)や信号処理に関する国内シンポジウムなどでの成果発表を行った。
Strategy for Future Research Activity	令和３年度に定式化したPlug-and-Playに基づくDMDアルゴリズムを多様なシーン(朝、昼、夜、市街、市内、晴天、曇天、雨天) に適用し、その復元精度を定性的/定量的に比較・評価することで、本手法の有効性を解析する。また、関連する既存手法との比較実験、及び高速化のための効率的な再構成アルゴリズムの検討を行い、提案技術の有効性と性能限界について明らかにする。また、得られた成果をまとめて同分野の難関国際学術論文誌であるIEEE Transactionsへの論文投稿の準備を進める。
Causes of Carryover	次年度使用額が生じた理由については、新型コロナウイルス感染症の世界的流行に伴い、現地参加予定であった国際会議や国内の学会、研究会などが完全オンライン開催やハイブリッド開催に変更になり、現地参加ができなくなったため、当初予定していた配分額よりも旅費や学会参加費が大幅に余ったためである。使用計画については、今年度（令和４年度）の学会参加費や現在執筆中・投稿中の論文の英文校正費用やその掲載費用に充てる予定である。論文執筆については、当初の計画を大幅に超える成果が出ているため、論文投稿やその掲載費用が当初計画よりも必要となっている現状を踏まえるとこれらに繰越費用を充てることは、本研究費の使用用途として妥当であると考える。