2021 Fiscal Year Research-status Report
車載カメラ映像を対象とした注視領域の推定法の提案とデータセットの構築
| Project/Area Number |
20K11828
|
|---|
| Research Institution | Shizuoka University |
|---|
Principal Investigator |
大橋 剛介 静岡大学, 工学部, 教授 (80293603)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | データセット / 車載カメラ映像 / 注視領域 / 顕著性マップ / 深層学習 / ドライビング・シミュレーター |
|---|
| Outline of Annual Research Achievements |
動画像を対象とした動的な顕著性予測モデルの精度を向上させるために静止画像の注視マップと動画像の注視マップを計測し、解析した。動画像ごとに正解データと計測データの類似度に違いがあることを確認し、標準偏差を評価したところ、強い負の相関があった。また、顕著性予測モデルのUNISALにおいても同様の傾向が示された。次に、静止画像として注視したときの視線計測結果と動画像として注視したときの視線計測結果で注視領域が類似している画像と異なる画像について解析した。その結果、類似している画像はすべて対象が存在している画像であることが明らかになった。
また、ドライビング・シミュレータを用いて、人間の視線情報から得られた注視マップ、計算モデルによる顕著性マップ、深層学習による運転制御モデルの判断根拠の可視化結果を比較・解析した。人間の視線情報は、視線追跡装置を用いて収集した。顕著性マップは、顕著性モデルのstate-of-the-artであるUNISALにより作成した。深層学習による判断根拠の可視化結果は、Attention Branch Networkのアテンションマップにより作成した。注視マップと顕著性マップの比較から注視マップを顕著性マップで代用可能であると確認することができた。注視マップと深層学習の判断根拠の比較から、スロットル制御のほうがステアリング制御に比べ視覚的顕著性との関連性が高いという知見を得た。
さらに、車載カメラ映像を対象とした注視領域の推定アルゴリズムを提案した。注視領域とFOE（Focus Of Expansion）の類似性を比較し、注視領域とFOEの高い相関等を確認し、深層学習モデルにFOEを組み込む妥当性を確認した。そして、オプティカルフローのノルムの性質を利用したFOEの算出手法と、HD2Sなどの深層学習モデルにFOEを導入した注視マップモデルを提案した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和3年度以降の研究計画は、１）ドライビング・シミュレーター実験および実験結果の解析、２）車載カメラ映像を対象とした注視領域の推定アルゴリズムの開発・検証、３）注視領域が付与された車載カメラ映像のデータセットの構築であった。おおむね順調に進展している。１）のドライビング・シミュレーター実験および実験結果の解析に関しては、令和3年9月の電気学会電子・情報・システム部門大会で発表した。また、２）の車載カメラ映像を対象とした注視領域の推定アルゴリズムの開発・検証に関しては、令和4年6月の画像センシングシンポジウムで発表予定である。３）の注視領域が付与された車載カメラ映像のデータセットの構築に関しては、既存の車載カメラ映像に対して注視領域を付与する実験・検証を実施しているところである。引き続き、実験結果を解析し、車載カメラ映像を対象とした注視領域の推定アルゴリズムの精度を向上させる。そして、注視領域が付与された車載カメラ映像のデータセットを構築する。
|
| Strategy for Future Research Activity |
令和2年度、3年度に引き続き、ドライビング・シミュレーター実験および実験結果の解析、車載カメラ映像を対象とした注視領域の推定アルゴリズムの開発・検証、注視領域が付与された車載カメラ映像のデータセットの構築、を進める。
|
| Causes of Carryover |
新型コロナウイルス感染拡大の影響で、学会がオンライン開催（旅費が未使用）、主観評価実験の人数が少なかった。新型コロナウイルス感染予防対策を講じて、主観評価実験を実施する。学会は現地参加とオンライン参加のハイブリッド開催になってきている。
|
Research Products
(3 results)
