Estimation method and dataset of visual attention for dashcam images
| Project/Area Number |
20K11828
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60080:Database-related
|
|---|
| Research Institution | Shizuoka University |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2020: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | データセット / 車載カメラ映像 / 注視領域 / 顕著性マップ / 深層学習 / ドライビング・シミュレーター |
|---|
| Outline of Research at the Start |
車載カメラ映像から、運転者がどこを注視するかを知ることは、運転支援技術の開発に有用である。この注視領域を画像から計算モデルで検出するのが、顕著性マップである。そこで、本研究では、車載カメラ映像（動画像）に対して、運転者がどこを注視しやすいかを高精度に推定できる深層学習に基づく顕著性マップ推定モデルを開発することを目的としている。さらに、既存の膨大な映像データに顕著性マップを適用し、注視情報付きのデータセットを構築する。
本研究の成果により、既存の膨大な車載カメラ映像データを有効に活用でき、運転者の注視領域を明らかにすることが可能になり、運転支援システムの開発に貢献できる。
|
| Outline of Final Research Achievements |
The comparison of saliency maps between the static image and moving image proved that the gaze is fixated ahead on the moving target object, and the target object can not be gazed at for objects that change motion in a scene. Moreover, it was found that visual attention is biased toward the moving direction of the target object and affected by the target object's motion before the motion changes.
The nighttime dataset of the dashcam image is created from the existing dataset of the daytime dashcam image using the image transformation model for the Carla simulator and real images. A visual attention model was proposed incorporating FOE from the optical flow and verified the model's effectiveness by predicting visual attention with high accuracy using the dashcam image dataset.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究では、車載カメラ映像に対して、運転者の注視領域の推定モデルを開発することとデータセットを構築することを目的としている。注視情報付きデータセットで公開されている一般的な動画像（映像）を対象としたものは、車載カメラ映像における注視領域とは異なる。したがって、本研究成果の学術的意義は、１）静止画と映像（動画像）との相違点、２）車載カメラ映像のデータセット、３）運転者の注視特性、を明らかにしたことである。本研究成果の社会的意義は、本研究の成果により、既存の膨大な映像データを有効に活用でき、運転者の注視領域を明らかにすることが可能になり、運転支援システムの開発に貢献できる。
|
Report
(4 results)
Research Products
(10 results)
