特徴チャネルに対する不変性を持つ空間基底に基づく畳み込みネットの注意機構

2023 Fiscal Year Annual Research Report

• Project/Area Number: 20K11890
• Research Institution: Kyushu University
• Principal Investigator: 松川 徹 九州大学, システム情報科学研究院, 助教 (80747212)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: 畳込ネット / 空間基底 / 不変特徴 / 頑健性 / 双線形・グラスマンプーリング / 観測方向推定

Outline of Annual Research Achievements

人物の様々な服装の柄や色の変動, 場所や天候など撮影状態の影響へ頑健に人物の観測方向を推定することは、実世界の応用へ不可欠である. このタスクでは, 局所的なパーツの空間的配置が, 正確な推定を行うための重要な要素となるが, タスクに対して冗長な畳込ネットのチャネルが上記の変動に対する頑健性を低下させる懸念がある. そこで我々は, 畳込ネットの特徴マップの冗長なチャネル活性化を要約するチャネルプーリングに注目する. 特徴マップを特徴チャネルの断面で取り出した画像群に対して特異値分解を適用することで得られる空間基底が, 特徴チャネルの入れ替えに対して不変であり, かつ空間的情報に対して判別的な特徴量となることに着目し，この空間基底の部分空間を特徴表現とするグラスマンチャネルプーリングを提案した.
令和５年度は, 提案手法と従来の双線形プーリングとグラスマンプーリングとの関係性を示し，撮影状況の変動を模擬する画風変換に対する頑健性の論拠を示した. また, 提案手法を最新のネットワーク構造であるHigh-reslution Netへ組み込み, 提案手法がスタイル変動への頑健性を高める効果を持つインスタンス正規化と併用した場合でも効果があることを示した. 実験では, PersonXデータセットとTUDデータセットを用い, 提案したチャネルプーリングが既存のプーリング手法と比較して優れた識別力を持つこと, またその頑健性を示した. これらの研究成果は国際会議へ投稿中である.