2020 Fiscal Year Research-status Report
車載カメラ映像を対象とした注視領域の推定法の提案とデータセットの構築
| Project/Area Number |
20K11828
|
|---|
| Research Institution | Shizuoka University |
|---|
Principal Investigator |
大橋 剛介 静岡大学, 工学部, 教授 (80293603)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | データセット / 車載カメラ映像 / 注視領域 / 顕著性マップ / 深層学習 / ドライビング・シミュレーター |
|---|
| Outline of Annual Research Achievements |
車載カメラ映像解析、有効性検証用のデータセットは、第22回画像の認識・理解シンポジウム（MIRU2019）OS3B-3“回帰型Attention Branchによる一貫学習ベースの自動運転における判断根拠の可視化”で紹介された有償のGrand Theft Auto V (GTAV)の映像をドライビング・シミュレーターとして使用予定であったが、ビジョン技術の実利用ワークショップ(ViEW2020) IS1-22“視線情報を利用した一貫学習ベースによる自動運転制御の高精度化” において紹介されている自動運転のアルゴリズム開発、検証を支援するためのオープンソースのシミュレータCARLAを使用することに変更し、視線追跡装置（Tobii Pro ナノ）を用いた実験環境を整備し、実験を実施した。視線追跡装置の結果、深層学習の判断根拠の可視化結果（Attention Branch Network[K.Mori+, IEEE 2019]）、顕著性マップモデル（state-of-the-artのUNISAL[R.Droste+、ECCV 2020]）の結果を解析した。
運転中の注視マップと比較し，注視マップを顕著性マップで代用可能かどうかを評価したところ、視認上の評価では、顕著性マップは信号機への顕著性が出ていないシーンやカーブシーンにおいて顕著性が中心のバイアスを受けているなど、注視マップとの違いが確認されたが、人間や車に対しての顕著性は一致しており、比較的良好であると判断した。そして、定量的評価では評価指標によっては注視マップと顕著性マップはあまり一致しないといった結果もあったが、それぞれの評価指標の傾向を考慮した結果、注視マップは顕著性マップで代用可能であると確認できた。
さらに、車載カメラ映像を対象とした注視領域の推定アルゴリズムを提案した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和2年度の研究計画は、１）視線追跡装置を用いたドライビング・シミュレーター実験の環境整備と実験の実施、２）実験結果の解析（車載カメラ映像を対象としたとき考慮すべきことを明らかにする） 、３）車載カメラ映像を対象とした注視領域の推定アルゴリズムの開発、の３つであったが、すべて実施できた。引き続き、実験結果を解析し、車載カメラ映像を対象とした注視領域の推定アルゴリズムの精度を向上させる。
|
| Strategy for Future Research Activity |
令和2年度に引き続き、１）ドライビング・シミュレーター、視線追跡装置を用いた実験および実験結果の解析、２）車載カメラ映像を対象とした注視領域の推定アルゴリズムの開発・検証、３）注視領域が付与された車載カメラ映像のデータセットの構築、を進める。
|
| Causes of Carryover |
コロナ禍のため、国内旅費、被験者によるドライビング・シミュレーターの実験の謝金を使用しなかった。また、視線追跡装置を制御するソフトウェア（Tobii Pro Studio）を購入せず、自作で開発して使用した。
今年度は、新型コロナウイルス感染拡大を予防した上で、被験者によるドライビング・シミュレーターの実験を実施する。また、信頼性を向上させるため、視線追跡装置制御ソフトウェア（Tobii Pro Studio）を購入予定である。
|
